[论文解读] On the Curse of Memory in Recurrent Neural Networks: Approximation and Optimization Analysis

Zhong Li, Jiequn Han+2 more|arXiv (Cornell University)|Sep 16, 2020

Neural Networks and Applications参考文献 66被引用 6

一句话总结

本文研究了连续时间线性循环神经网络（RNN）在学习线性时间关系时的近似与优化动态。它提出了“记忆灾难”现象——无论采用何种优化方法，目标函数的长期记忆呈指数增长，导致近似所需的神经元数量急剧增加，并严重减缓训练速度。

ABSTRACT

We study the approximation properties and optimization dynamics of recurrent neural networks (RNNs) when applied to learn input-output relationships in temporal data. We consider the simple but representative setting of using continuous-time linear RNNs to learn from data generated by linear relationships. Mathematically, the latter can be understood as a sequence of linear functionals. We prove a universal approximation theorem of such linear functionals, and characterize the approximation rate and its relation with memory. Moreover, we perform a fine-grained dynamical analysis of training linear RNNs, which further reveal the intricate interactions between memory and learning. A unifying theme uncovered is the non-trivial effect of memory, a notion that can be made precise in our framework, on approximation and optimization: when there is long term memory in the target, it takes a large number of neurons to approximate it. Moreover, the training process will suffer from slow downs. In particular, both of these effects become exponentially more pronounced with memory - a phenomenon we call the "curse of memory". These analyses represent a basic step towards a concrete mathematical understanding of new phenomenon that may arise in learning temporal relationships using recurrent architectures.

研究动机与目标

• 理解数据中的时间动态与记忆如何影响RNN的近似与优化。
• 分析长期记忆对线性泛函准确近似所需神经元数量的影响。
• 通过梯度下降与动量方法研究线性RNN的训练动态，重点关注收敛速度。
• 将“记忆灾难”形式化为一种类似于维度灾难的新理论现象。
• 为利用连续时间动力系统与线性泛函分析RNN提供严谨的数学框架。

提出的方法

• 使用常微分方程（ODE）将RNN建模为连续时间动力系统，以实现分析上的可处理性。
• 将目标输入-输出关系表示为一系列具有衰减率的线性泛函，衰减率用于量化记忆。
• 应用梯度流与基于动量的优化方法，分析连续时间下的训练动态。
• 基于目标泛函的正则性与记忆（衰减率）推导近似速率。
• 利用ODE解刻画损失演化，并识别训练中的多时间尺度现象，尤其是平台期。
• 比较梯度下降与动量方法，表明动量可将平台期的逃逸时间缩短至O(1/√ε)。

实验结果

研究问题

• RQ1 目标线性泛函的记忆长度（衰减率）如何影响线性RNN近似所需的神经元数量？
• RQ2 连续时间线性RNN对线性泛函的近似速率是多少？其与泛函正则性及记忆的关系如何？
• RQ3 当在长记忆目标上训练线性RNN时，梯度下降与基于动量的优化方法行为如何？
• RQ4 RNN训练中长期依赖关系导致收敛缓慢的原因是什么？是否可进行量化？
• RQ5 记忆在多大程度上导致了类似于维度灾难的“灾难”现象？

主要发现

• 近似误差的衰减速率与神经元数量成反比，但该速率随目标泛函记忆（衰减率）的增加而呈指数恶化。
• 对于记忆参数为ε的目标泛函，实现ε-近似的神经元数量随1/ε呈指数增长。
• 梯度下降训练表现出多时间尺度特性：损失在O(1/ε)时间内几乎保持不变，随后才逃逸平台期。
• 基于动量的优化将平台期的逃逸时间缩短至O(1/√ε)，相比梯度下降显著提升了收敛速度。
• 两种方法的损失函数均呈现缓慢初始下降后迅速下降的特征，过渡时间分别按O(1/ε)（GD）与O(1/√ε)（动量）缩放。
• 训练动态受记忆参数ε关联的慢模式主导，导致记忆增加时出现指数级减速——这正式确立了“记忆灾难”现象。