[論文レビュー] A Neural Network Model of Continual Learning with Cognitive Control

Jacob Russin, Maryam Zolfaghar+3 more|arXiv (Cornell University)|Feb 9, 2022

Memory Processes and Influences被引用数 6

ひとこと要約

この論文は、前頭前皮質（PFC）に認知的制御メカニズムを備えたニューラルネットワークモデルを提案し、特に試行がブロック化された状況下で継続的学習中に深刻な忘却を防ぐことを目的としている。PFCにアクティブ・メンテナンスのバイアスを導入することで、干渉が減少し、ブロック化条件下での学習が向上する。これは、人間がブロック化を用いる際の優位性を計算的に説明するものである。

ABSTRACT

Neural networks struggle in continual learning settings from catastrophic forgetting: when trials are blocked, new learning can overwrite the learning from previous blocks. Humans learn effectively in these settings, in some cases even showing an advantage of blocking, suggesting the brain contains mechanisms to overcome this problem. Here, we build on previous work and show that neural networks equipped with a mechanism for cognitive control do not exhibit catastrophic forgetting when trials are blocked. We further show an advantage of blocking over interleaving when there is a bias for active maintenance in the control signal, implying a tradeoff between maintenance and the strength of control. Analyses of map-like representations learned by the networks provided additional insights into these mechanisms. Our work highlights the potential of cognitive control to aid continual learning in neural networks, and offers an explanation for the advantage of blocking that has been observed in humans.

研究の動機と目的

• 前頭前皮質（PFC）に統合された認知的制御メカニズムが、継続的学習中のニューラルネットワークにおける深刻な忘却をどのように軽減できるかを調査すること。
• PFCにアクティブ・メンテナンスのバイアスがある場合、試行をブロック化（1つの次元を一度に学習）することで、入れ違い学習（interleaving）よりもパフォーマンスが向上するかどうかを検証すること。
• 認知的制御が継続的学習中にニューラルネットワークのマップ様表現にどのように影響を与えるかを検討すること。
• 先行するfMRI研究で観察された人間のブロック化に対する行動的優位性を、計算モデルを用いて説明すること。

提案手法

• モデルは、2つの次元（人気と能力）に沿って顔のペアワイズ比較を伴う社会的階層タスクを学習するフィードフォワード・ニューラルネットワークを用いる。
• 認知的制御は、タスクの文脈に応じて主ネットワークの活動を調整するPFCモジュールによって実装され、ゲーティング機構を用いて学習を制御する。
• PFCには持続的活動（アクティブ・メンテナンス）のバイアスが含まれており、これが異なる文脈における制御信号の強度に影響を与える。
• モデルは2つの条件で訓練される：入れ違い試行（ランダムにシャッフルされたキュー）とブロック試行（1つの次元を一度に学習）。
• 代表的類似性解析と次元圧縮指標を用いて、認知的制御がネットワークの内部表現に与える影響を評価する。
• モデルは学習パフォーマンスと、ブロック間での学習済み表現の安定性の両方で評価される。

実験結果

リサーチクエスチョン

• RQ1 試行がブロック化された状況下で、認知的制御メカニズムを備えたニューラルネットワークは、深刻な忘却を防げるか？
• RQ2 PFCにアクティブ・メンテナンスのバイアスがある場合、ブロック化学習と入れ違い学習のどちらでパフォーマンスが向上するか？
• RQ3 認知的制御は、ネットワークにおけるマップ様表現の形成にどのように影響を与えるか？
• RQ4 なぜ人間は試行をブロック化した場合に、入れ違い学習よりも優れた学習パフォーマンスを示すのか？
• RQ5 認知的制御の強さと、文脈切り替えに伴うコストの間にはどのようなトレードオフがあるか？

主な発見

• 認知的制御を備えたモデルは、ブロック化された学習条件下で、ブロック間で安定した表現を維持するなど、深刻な忘却を効果的に防げる。
• PFCにアクティブ・メンテナンスのバイアスがあると、ブロック化条件下でのパフォーマンスが向上するが、試行が入れ違いの場合は制御信号の干渉により学習が損なわれる。
• 認知的制御により、マップ様表現における不要な次元の圧縮が可能となり、重複のない学習パターンが出現する。
• モデルは、PFCにおけるアクティブ・メンテナンスが、強い制御により忘却が減少するが、切り替えコストが増加するというトレードオフを生み出すことを示しており、これがブロック化の優位性を説明している。
• 代表的類似性解析により、認知的制御が、特にブロック化条件下で、非重複パターンの学習を促進するようにネットワーク活動を調整することが確認された。
• 結果から、認知的制御メカニズムが、標準的な学習ルールでは不要な場合でも、人間のブロック化における行動的優位性を説明できる可能性がある。