[論文レビュー] On the Curse of Memory in Recurrent Neural Networks: Approximation and Optimization Analysis

Zhong Li, Jiequn Han+2 more|arXiv (Cornell University)|Sep 16, 2020

Neural Networks and Applications参考文献 66被引用数 6

ひとこと要約

本稿は、線形時系列関係を学習する際の連続時間線形再帰的ニューラルネットワーク（RNN）の近似および最適化ダイナミクスを調査する。長期間記憶がターゲット関数に指数的に増加する現象である「記憶の呪い（curse of memory）」を導入する。この現象は、最適化手法にかかわらず、近似に必要なニューロン数を指数的に増加させ、学習を著しく遅くする。

ABSTRACT

We study the approximation properties and optimization dynamics of recurrent neural networks (RNNs) when applied to learn input-output relationships in temporal data. We consider the simple but representative setting of using continuous-time linear RNNs to learn from data generated by linear relationships. Mathematically, the latter can be understood as a sequence of linear functionals. We prove a universal approximation theorem of such linear functionals, and characterize the approximation rate and its relation with memory. Moreover, we perform a fine-grained dynamical analysis of training linear RNNs, which further reveal the intricate interactions between memory and learning. A unifying theme uncovered is the non-trivial effect of memory, a notion that can be made precise in our framework, on approximation and optimization: when there is long term memory in the target, it takes a large number of neurons to approximate it. Moreover, the training process will suffer from slow downs. In particular, both of these effects become exponentially more pronounced with memory - a phenomenon we call the "curse of memory". These analyses represent a basic step towards a concrete mathematical understanding of new phenomenon that may arise in learning temporal relationships using recurrent architectures.

研究の動機と目的

• 時系列ダイナミクスおよびデータ内の記憶がRNNの近似および最適化に与える影響を理解すること。
• 長期間記憶が線形関数型の正確な近似に必要なニューロン数に与える影響を分析すること。
• 勾配降下法およびモーメンタムを用いた連続時間における線形RNNの学習ダイナミクスを、収束速度に注目して研究すること。
• 次元の呪いに類似した新しい理論的現象として「記憶の呪い」を形式化すること。
• 連続時間力学系および線形関数型を用いたRNNの分析のための厳密な数学的枠組みを提供すること。

提案手法

• 解析的扱いやすさを確保するため、常微分方程式（ODE）を用いてRNNを連続時間力学系としてモデル化する。
• ターゲット入出力関係を、記憶を定量化する減衰率を有する線形関数型の系列として表現する。
• 勾配フローおよびモーメンタムに基づく最適化を適用し、連続時間における学習ダイナミクスを分析する。
• ターゲット関数型の正則性および記憶（減衰率）に基づいて近似速度を導出する。
• ODEの解を用いて損失関数の進化を特徴付け、特に平坦期（plateaus）を示す複数の時間スケールを同定する。
• 勾配降下法とモーメンタム法を比較し、モーメンタムが平坦期からの脱出時間スケールを短縮することを示す。

実験結果

リサーチクエスチョン

• RQ1 ターゲット線形関数型の記憶長（減衰率）が、線形RNNによる近似に必要なニューロン数にどのように影響するか？
• RQ2 連続時間線形RNNの近似速度は何か？ そして、関数型の正則性および記憶にどのように依存するか？
• RQ3 勾配降下法およびモーメンタムベースの最適化は、長記憶ターゲット上で線形RNNを学習する際にどのように振る舞うか？
• RQ4 RNNの長期間依存関係の学習で遅延が生じる原因は何か？ そして、これを定量的に測定できるか？
• RQ5 記憶は、次元の呪いに類似した「呪い」としてRNN学習にどのように作用するか？

主な発見

• 近似誤差はニューロン数に反比例して減少するが、この減少率はターゲット関数型の記憶（減衰率）が増加するにつれて指数的に悪化する。
• 記憶パラメータεを有するターゲット関数型に対して、ε-近似に必要なニューロン数は1/εに指数的に依存して増加する。
• 勾配降下法の学習では、複数の時間スケールが観察される：損失はO(1/ε)の時間にわたりほぼ一定のまま保たれる（平坦期）。
• モーメンタムベースの最適化では、平坦期からの脱出時間がO(1/√ε)に短縮され、勾配降下法に比べて収束速度が向上する。
• 両手法の損失関数は、初期にゆっくりと減少し、その後急激に低下するが、その遷移時間はGDではO(1/ε)、モーメンタムではO(1/√ε)にスケーリングする。
• 学習ダイナミクスは、記憶パラメータεに結びついた遅いモードに支配され、記憶が増加するにつれて指数的遅延が生じる——これが「記憶の呪い」を形式化する。