[論文レビュー] One step back, two steps forward: interference and learning in recurrent neural networks

Chen Beer, Omri Barak|arXiv (Cornell University)|May 24, 2018

Neural dynamics and brain function参考文献 34被引用数 4

ひとこと要約

この論文は、LMSなどの生物学的に妥当な学習ルールに従う場合、反復学習における干渉が再帰的ニューラルネットワークの学習に及ぼす影響を調査している。LMSは高い試行相関性のため深刻な忘却を引き起こすが、FORCE学習は2次統計量を用いることでこれを回避する。その結果、LMSはFORCEと比較して1000倍以上遅い収束を示し、安定した動的記憶形成のための学習ルール設計における重要なトレードオフを明らかにした。

ABSTRACT

Artificial neural networks, trained to perform cognitive tasks, have recently been used as models for neural recordings from animals performing these tasks. While some progress has been made in performing such comparisons, the evolution of network dynamics throughout learning remains unexplored. This is paralleled by an experimental focus on recording from trained animals, with few studies following neural activity throughout training. In this work, we address this gap in the realm of artificial networks by analyzing networks that are trained to perform memory and pattern generation tasks. The functional aspect of these tasks corresponds to dynamical objects in the fully trained network - a line attractor or a set of limit cycles for the two respective tasks. We use these dynamical objects as anchors to study the effect of learning on their emergence. We find that the sequential nature of learning has major consequences for the learning trajectory and its final outcome. Specifically, we show that Least Mean Squares (LMS), a simple gradient descent suggested as a biologically plausible version of the FORCE algorithm, is constantly obstructed by forgetting, which is manifested as the destruction of dynamical objects from previous trials. The degree of interference is determined by the correlation between different trials. We show which specific ingredients of FORCE avoid this phenomenon. Overall, this difference results in convergence that is orders of magnitude slower for LMS. Learning implies accumulating information across multiple trials to form the overall concept of the task. Our results show that interference between trials can greatly affect learning, in a learning rule dependent manner. These insights can help design experimental protocols that minimize such interference, and possibly infer underlying learning rules by observing behavior and neural activity throughout learning.

研究の動機と目的

• 訓練済みの再帰的ネットワークにおける固定点や極限円周などの動的構造の出現に、逐次的学習がどのように影響するかを理解すること。
• 生物学的に妥当な学習ルールであるLMSのようなルールが、記憶表現を試行間で安定化させられない理由を調査すること。
• 干渉を防ぎ、安定した学習を可能にするFORCEアルゴリズムの特定の構成要素を同定すること。
• 試行順序と学習率が、記憶およびパターン生成タスクにおける収束性と安定性に与える影響を調査すること。

提案手法

• 研究では、ランダムな接続行列を有するレートベースの再帰的ニューラルネットワークを用い、FORCEおよびLMSアルゴリズムにより出力重みを訓練した。
• 固定点（記憶タスク用）および極限円周（パターン生成タスク用）といった動的対象を、逆相関行列および線形安定性解析を用いて訓練中を通じて同定・追跡した。
• ネットワークは2つのタスクで訓練された：単純な記憶（遅延後に刺激値を出力）と、入力後に正弦波を生成する記憶付きパターン生成。
• 干渉を防ぐために履歴依存情報が果たす役割を隔離するために、2次統計量（P行列）を操作した。
• 制御と収束ダイナミクスを評価するために、学習率と試行順序の影響を検証した。
• 干渉と収束に関する発見の妥当性を検証するため、報酬に基づくヘブ学習を比較対象とした。

実験結果

リサーチクエスチョン

• RQ1 なぜLMS学習は逐次的学習タスクにおいて、試行間で安定した動的対象を維持できないのか？
• RQ2 FORCEアルゴリズムのどの特定の構成要素が試行間の干渉を防ぎ、LMSとはどのように異なるのか？
• RQ3 連続する試行間の相関が、忘却度と学習効率にどのように影響するのか？
• RQ4 学習率が、学習プロセスの安定性と収束性にどの程度影響を及ぼすのか？
• RQ5 試行の再順序化は、LMSで訓練されたネットワークにおける干渉を軽減し、学習パフォーマンスを向上させることができるか？

主な発見

• LMS学習は、刺激同士の相関が高いため、試行間で深刻な干渉を受ける。その結果、以前に形成された固定点や極限円周が消失する。
• FORCEアルゴリズムは、2次統計量（P行列）を保持することで、この干渉を回避する。LMSはこの保持を果たせない。
• FORCE学習において2次統計情報を試行間で削除すると、LMSの挙動が再現され、P行列の保持が安定学習に不可欠であることを確認した。
• LMSの収束は、FORCEと比較して1000倍以上遅く、動的対象の繰り返し破壊と再形成が原因である。
• 遅い学習率は制御の問題を悪化させ、ネットワークが望ましい多様体から逸脱し、学習中の誤差を増加させる。
• 報酬に基づくヘブ学習はLMSと同様の挙動を示し、最後の刺激にのみ収束するため、干渉に弱いルールに共通する失敗モードがあることが示された。