[論文レビュー] Localizing Catastrophic Forgetting in Neural Networks

Felix Wiewel, Bin Yang|arXiv (Cornell University)|Jun 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 5

ひとこと要約

本論文は、継続的学習中の catastrophic forgetting に対する個々のニューラルネットワーク重みの寄与度を定量化するパラメータレベルの局在化手法を提案する。パス積分に基づくアプローチを用いることで、最後の層の全結合重みが特にインクリメンタルクラス学習において忘れることに最も寄与することが明らかになり、忘却メカニズムに関する新たな知見を提供するとともに、困難な継続的学習シナリオにおける勾配ダイナミクスに関する先行研究の観察を裏付けた。

ABSTRACT

Artificial neural networks (ANNs) suffer from catastrophic forgetting when trained on a sequence of tasks. While this phenomenon was studied in the past, there is only very limited recent research on this phenomenon. We propose a method for determining the contribution of individual parameters in an ANN to catastrophic forgetting. The method is used to analyze an ANNs response to three different continual learning scenarios.

研究の動機と目的

• 人工ニューラルネットワークにおける catastrophic forgetting の内部メカニズムに関する研究の不足に対処すること。
• スカラーメトリクス（精度や損失など）にとどまらず、個々のパラメータの寄与度を定量化する手法を開発すること。
• インクリメンタルタスク学習（ITL）、インクリメンタルドメイン学習（IDL）、インクリメンタルクラス学習（ICL）といった異なる継続的学習シナリオが、パラメータレベルでの忘れ方にどのように影響を与えるかを分析すること。
• どのネットワークコンponents が catastrophic forgetting を引き起こしているかを局所化した洞察を提供し、より効果的な緩和戦略の立案を可能にすること。

提案手法

• 本手法はパス積分アプローチを用いて、継続的学習中に損失の変化に寄与する各パラメータの寄与度を計算する。
• 訓練軌道に沿って損失関数を各パラメータで微分した勾配を統合することで、各パラメータごとの損失寄与度を定義する。
• このアプローチにより、各重みやバイアスが過去に学習したタスクの損失上昇にどの程度寄与しているかをパラメータ単位で特定できる。
• 標準的なCNNアーキテクチャを用いて、ベンチマークデータセット上でITL、IDL、ICLの3つの継続的学習シナリオに適用する。
• 統計的妥当性を確保するため、10回のランダム初期化の平均値と標準偏差を報告する。
• 重み行列とバイアスベクトルの両方を分析し、層ごとのパターンを特定するためのニューロン/フィルタ単位の平均化を追加で実施する。

実験結果

リサーチクエスチョン

• RQ1 継続的学習中に、ニューラルネットワークのどの個々のパラメータが catastrophic forgetting に最も寄与しているか？
• RQ2 異なる継続的学習シナリオ（ITL、IDL、ICL）において、パラメータの忘れに寄与する度合いはどのように変化するか？
• RQ3 最後の層のパラメータは一貫して高い忘れ寄与度を示すのか？ もしそうであるなら、その理由は何か？
• RQ4 パラメータレベルでの局在化により、シナリオ間での忘れの深刻さの違いを説明するパターンを特定できるか？

主な発見

• 最後の層の全結合重みが catastrophic forgetting に最も寄与しており、特にインクリメンタルクラス学習（ICL）において、損失の絶対変化が最大である。
• ICLでは、ニューロン/フィルタの寄与度が最初の層から最後の全結合層に向かって増加する傾向を示すが、ITL や IDL ではより均一な分布を示すのと対照的である。
• 畳み込み層は全結合層ほど忘れに寄与しないが、2番目の畳み込み層では、すべてのシナリオで平均的に損失が減少している。
• ICLにおける損失寄与度の分散が最も高く、特に最後の層で顕著で、このシナリオがより高い不安定性と感度を示していることを示している。
• 本手法により、ICL が IDL よりもより多くの忘れを引き起こす理由が、最終層での勾配の大きさが大きいことに起因するという先行研究の観察が、特定のパラメータに局在化されて裏付けられた。
• バイアスベクトルは重み行列と比較して忘れにほとんど寄与していないため、重みの更新が catastrophic forgetting の主な駆動要因であると考えられる。