[论文解读] A Statistical Investigation of Long Memory in Language and Music

Alexander Greaves-Tunnell, Zaïd Harchaoui|arXiv (Cornell University)|Apr 8, 2019

Music and Audio Processing参考文献 45被引用 7

一句话总结

本文提出了一种基于分数整合理论的统计框架，用于量化语言和音乐中的长程依赖性，并将其应用于评估RNN是否能从真实世界数据中学习到长记忆。尽管经过基准性能训练，多种RNN架构（包括LSTM和SCRN）在估计的记忆参数假设检验中均未能表现出数据中存在的长程依赖性。

ABSTRACT

Representation and learning of long-range dependencies is a central challenge confronted in modern applications of machine learning to sequence data. Yet despite the prominence of this issue, the basic problem of measuring long-range dependence, either in a given data source or as represented in a trained deep model, remains largely limited to heuristic tools. We contribute a statistical framework for investigating long-range dependence in current applications of deep sequence modeling, drawing on the well-developed theory of long memory stochastic processes. This framework yields testable implications concerning the relationship between long memory in real-world data and its learned representation in a deep learning architecture, which are explored through a semiparametric framework adapted to the high-dimensional setting.

研究动机与目标

• 开发一种统计上严谨的方法，用于测量语言和音乐等序列数据中的长程依赖性。
• 评估训练后的RNN是否能准确表示真实世界数据中观察到的长记忆结构。
• 解决深度学习模型中长程依赖性缺乏正式统计评估的问题。
• 检验RNN在为基准性能训练后未能从数据中充分学习长记忆的假设。
• 提供一种高维、半参数化的方法，用于估计和检验多变量时间序列表示中的长记忆。

提出的方法

• 该框架使用分数积分理论，通过长滞后自协方差的幂律衰减来定义长记忆，其参数由记忆参数d表示。
• 应用Shimotsu（2007）的多变量估计器来估计总记忆统计量，即各分量中估计的d参数的归一化总和。
• 通过总记忆统计量进行假设检验，以检验d = 0（无长记忆）与单侧备择假设（正或负记忆）之间的差异。
• 通过带宽选择和重抽样技术，将该方法适应于高维设置，以稳定推断。
• 实验通过模拟分数差分输入和白噪声输入，测试RNN在隐藏状态中保持或生成长记忆的能力。
• 该方法在多样化的语言和音乐数据集上进行了验证，每种模型均进行了100次统计推断试验。

实验结果

研究问题

• RQ1 真实世界中的语言和音乐序列是否表现出统计上显著的长程依赖性？
• RQ2 标准RNN架构（如LSTM和SCRN）能否准确表示其训练数据中的长记忆结构？
• RQ3 为基准性能训练的RNN是否尽管在架构设计上旨在实现此目的，却仍未能学习到长程依赖性？
• RQ4 RNN能否将白噪声输入转换为具有非平凡长记忆的表示？
• RQ5 总记忆统计量是否是评估深度序列模型中长程依赖性的可靠且可解释的度量？

主要发现

• 自然语言和音乐数据表现出强烈的长程依赖性，估计的记忆参数d > 0，证实了长记忆的存在。
• 训练后的LSTM模型的归一化总记忆为-8.36×10⁻³，p值为4.07×10⁻²，未能拒绝d = 0的原假设。
• 未训练的LSTM和SCRN模型也未能表示长记忆，其p值分别小于1×10⁻¹⁶和-2.62×10⁻²的归一化记忆。
• 当输入为白噪声时，没有任何RNN模型生成了统计上显著的长记忆表示，p值范围为0.324至0.583。
• 记忆单元架构的归一化总记忆为-1.18×10⁻²，p值为1.52×10⁻²，表明其未能捕捉长记忆。
• 尽管达到了基准性能，所有评估的RNN均未能满足表示数据中长程依赖性的两个统计标准。