[論文レビュー] Maslow's Hammer for Catastrophic Forgetting: Node Re-Use vs Node Activation

Sebastian Lee, Stefano Sarao Mannelli+3 more|arXiv (Cornell University)|May 18, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿は、継続的学習における深刻な忘却を説明するための「マスローのハンマー仮説」を提示し、ノード再利用とノード活性化のトレードオフが中程度のタスク類似度領域で最も深刻な忘却を引き起こすことを特定する。合成的および実世界の設定における理論的分析を通じて、これらの2要因のバランスが最適なパフォーマンスをもたらすことを示し、この枠組みを通して既存のアルゴリズムを再解釈し、効果的な干渉戦略を導く。

ABSTRACT

Continual learning - learning new tasks in sequence while maintaining performance on old tasks - remains particularly challenging for artificial neural networks. Surprisingly, the amount of forgetting does not increase with the dissimilarity between the learned tasks, but appears to be worst in an intermediate similarity regime. In this paper we theoretically analyse both a synthetic teacher-student framework and a real data setup to provide an explanation of this phenomenon that we name Maslow's hammer hypothesis. Our analysis reveals the presence of a trade-off between node activation and node re-use that results in worst forgetting in the intermediate regime. Using this understanding we reinterpret popular algorithmic interventions for catastrophic interference in terms of this trade-off, and identify the regimes in which they are most effective.

研究の動機と目的

• 直感的な期待とは反して、中程度のタスク類似度領域で深刻な忘却が最も悪化する理由を説明すること。
• この現象の根本的要因であるノード再利用とノード活性化の間の根本的トレードオフを同定すること。
• このトレードオフと継続的学習におけるパフォーマンス低下の関係を結ぶ理論的フレームワークを提供すること。
• このトレードオフの観点から既存の継続的学習アルゴリズムを再解釈し、それらの最適な適用領域を特定すること。

提案手法

• ノード再利用と活性化のダイナミクスを分離して研究するために、合成的な教師-生徒フレームワークを分析する。
• 実データ設定を用いて、理論的発見が実用的な継続的学習シナリオで妥当であるかを検証する。
• 理論的モデリングを用いて、ノード再利用（タスク間で同じニューロンを再利用すること）とノード活性化（新しいタスクに新しいニューロンを使用すること）のトレードオフを定量化する。
• 特に中程度の類似度領域で、このトレードオフが最大の忘却を引き起こす条件を導出する。
• 代表的な継続的学習アルゴリズム（例：知識蒸留、シナプス知能）を、このトレードオフを調整する戦略として再定式化する。

実験結果

リサーチクエスチョン

• RQ1 なぜ深刻な忘却が、タスクが著しく異なる場合よりも中程度の類似度領域でピークに達するのか？
• RQ2 継続的学習におけるノード再利用と活性化の関係を支配する背後メカニズムは何か？
• RQ3 既存のニューロンを再利用することと新しいニューロンを活性化することのバランスが、忘却率にどのように影響するか？
• RQ4 既存の忘却防止のアルゴリズム的介入は、どのような状況で最も効果的か？

主な発見

• ノード再利用とノード活性化のトレードオフが原因で、中程度のタスク類似度領域で深刻な忘却が最大に達する。
• 合成的および実世界の両設定における理論的分析により、このトレードオフが忘却ダイナミクスの主因であることが確認された。
• ノード再利用は古い知識の保持に有益であるが、新しいタスクへの柔軟性を低下させる。一方、ノード活性化は新しいタスクの学習を可能にするが、古い知識の忘却を引き起こす。
• 完全に再利用するか完全に活性化する状態でないとき、すなわち両者のバランスが取れていないとき、忘却がピークに達することから、臨界なバランス点が存在することが示された。
• 知識蒸留やシナプス知能といった既存のアルゴリズムが、再利用と活性化のバランスをシフトさせることで機能しており、その有効性はタスク類似度に依存することが示された。