[論文レビュー] Anatomy of Catastrophic Forgetting: Hidden Representations and Task Semantics

Vinay Ramasesh, Ethan Dyer+1 more|arXiv (Cornell University)|Jul 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 23

ひとこと要約

この論文は、順次学習が隠れ表現に与える歪みを分析することで、ニューラルネットワークにおける深刻な忘却の原因を特定し、深層部が忘却の主な要因であることを明らかにした。中間的な意味的類似度を示すタスクで忘却が最も顕著であることを示し、リプレイやエラスティックウェイトコンソリデーション（EWC）といった緩和手法が深層表現を安定化させることで、その有効性を統一的に説明できることが示された。

ABSTRACT

A central challenge in developing versatile machine learning systems is catastrophic forgetting: a model trained on tasks in sequence will suffer significant performance drops on earlier tasks. Despite the ubiquity of catastrophic forgetting, there is limited understanding of the underlying process and its causes. In this paper, we address this important knowledge gap, investigating how forgetting affects representations in neural network models. Through representational analysis techniques, we find that deeper layers are disproportionately the source of forgetting. Supporting this, a study of methods to mitigate forgetting illustrates that they act to stabilize deeper layers. These insights enable the development of an analytic argument and empirical picture relating the degree of forgetting to representational similarity between tasks. Consistent with this picture, we observe maximal forgetting occurs for task sequences with intermediate similarity. We perform empirical studies on the standard split CIFAR-10 setup and also introduce a novel CIFAR-100 based task approximating realistic input distribution shift.

研究の動機と目的

• 深層ニューラルネットワークにおける深刻な忘却の背後にあるメカニズムを理解すること、特にそれが隠れ表現に与える影響を解明すること。
• 以前のタスクがネットワークの各層全体に均等に忘却されるのか、あるいは特定の層が忘却に寄与しているのかを調査すること。
• 順次的なタスク間の表現的類似度が忘却度に与える影響を検討すること。
• リプレイやEWCなどの一般的な忘却緩和手法の有効性を、それらが隠れ表現に与える影響を通じて評価・比較すること。
• 入力分布のシフト——現実世界の継続的学習における一般的な要因——を捉える現実的なベンチマークタスクの開発

提案手法

• 代表的類似度測定法（例：CKA）を用いた層ごとの表現変化の実証的分析と、層ごとのアブレーション（凍結／リセット）手法。
• 階層的ラベル構造を用いて現実世界の入力分布シフトを模擬するCIFAR-100ベースの新規タスクの導入。
• 固定特徴量と線形リーダアウトヘッドを用いた簡略化された解析モデルを用い、忘却の度合いが特徴量の重複度とタスク類似度にどのように依存するかを導出。
• 回転行列を用いて2番目のタスクの特徴量を明示的に回転させ、表現的類似度を制御し、その忘却への影響をテスト。
• 代表的な緩和手法（リプレイバッファとエラスティックウェイトコンソリデーション（EWC））を適用し、深層部における表現安定性への影響を検討。
• 初期タスクの精度低下と、学習前後における表現のCKA類似度を用いた定量的忘却評価。

実験結果

リサーチクエスチョン

• RQ1 深刻な忘却は、ニューラルネットワークの異なる層における隠れ表現にどのように影響を与えるか？
• RQ2 以前のタスクはネットワークのすべてのパラメータで均等に忘却されるのか、それとも特定の層がより脆弱であるのか？
• RQ3 順次的タスク間の意味的類似度が、深刻な忘却の度合いにどのように影響を与えるか？
• RQ4 リプレイやEWCといった標準的な緩和手法は、深層表現をどれほど安定化させ、忘却を軽減するのか？
• RQ5 入力分布のシフトを模擬する現実的なベンチマークタスクは、現実世界の継続的学習における忘却のダイナミクスをよりよく捉えられるか？

主な発見

• 順次学習中に最も大きな表現変化を示すのは深層部であり、深刻な忘却の主な要因であることが判明した。
• 中間的意味的類似度を示すタスクで忘却度が最大となり、非常に類似しているか非常に異なるタスクではそれほど顕著でない。これは解析モデルの予測と一致する。
• リプレイバッファとエラスティックウェイト正則化の両方が、深層表現の安定化によって忘却を緩和することにより、それらの成功を統一的に説明できる。
• 最終層の重みが著しく変化しても、初期データと2番目のタスクデータの表現重複度がゼロであれば、忘却を回避できる。これは、重みの安定性が忘却防止に必要ではないことを示している。
• 階層的ラベル構造を用いたCIFAR-100ベースの新規タスクは、現実的な入力分布のシフトを効果的に模擬でき、標準ベンチマークと同様の忘却ダイナミクスを示した。
• 実証的結果から、CKAで測定した表現的類似度と忘却度の間に強い相関が認められた。類似度が低いほど忘却が少なく、特に特徴量が直交している場合には顕著である。