[論文レビュー] Overcoming catastrophic forgetting in neural networks

James Kirkpatrick, Razvan Pascanu+12 more|arXiv (Cornell University)|Dec 2, 2016

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 72

ひとこと要約

この論文は、エラスティック・ウェイト・コンソリデーション（EWC）を提案する。EWCは、連続的学習における深刻な忘却を克服するための手法であり、重要な重みを保護することで、深層ニューラルネットワークが複数のタスクを逐次学習しても、以前の知識を忘れないようにする。フィッシャー情報を利用して重要度の高いパラメータを特定し、その更新を遅らせる。これにより、MNISTとAtari 2600ゲームの両方で成功を収めた。

ABSTRACT

The ability to learn tasks in a sequential fashion is crucial to the development of artificial intelligence. Neural networks are not, in general, capable of this and it has been widely thought that catastrophic forgetting is an inevitable feature of connectionist models. We show that it is possible to overcome this limitation and train networks that can maintain expertise on tasks which they have not experienced for a long time. Our approach remembers old tasks by selectively slowing down learning on the weights important for those tasks. We demonstrate our approach is scalable and effective by solving a set of classification tasks based on the MNIST hand written digit dataset and by learning several Atari 2600 games sequentially.

研究の動機と目的

• 連続的学習において、ニューラルネットワークが新しいタスクの学習に伴い、以前に学習したタスクの性能を低下させるという、深刻な忘却の課題に対処すること。
• 過去のデータのリプレイを必要とせず、深層ニューラルネットワークにおける継続的学習を可能にするスケーラブルなアルゴリズムを開発すること。
• 神経生物学的シナプス統合をインスピレーションとして、人工ネットワークに生物学的に現実的な学習メカニズムを設計すること。
• 提案手法の有効性を、教師あり学習および強化学習の両設定で示すこと。
• タスクの重要度に基づくパラメータ正則化を通じて、深層ネットワークにおけるタスク固有の知識の長期的保持を可能にすること。

提案手法

• EWCは、フィッシャー情報行列を用いて、以前に学習したタスクにおけるネットワークの各重みの重要度を推定する。
• 過去のタスクに不可欠なパラメータに対しては、2次的なペナルティ項を適用し、その後の学習におけるその更新を効果的に遅らせる。
• ペナルティ項は、パラメータの点推定を用いて近似されたフィッシャー情報行列の対角成分を用いて計算される。
• 計算効率が高く、パラメータ数および学習例数に対して線形時間計算量を示す。
• EWCは標準的なバックプロパゲーションと組み合わせ可能であり、教師あり学習および強化学習のフレームワークと両立可能である。
• アルゴリズムはベイジアン推論に裏付けられており、ネットワーク重みの事前分布が、以前のタスクの事後分布から導かれる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、深刻な忘却を避けながら、複数のタスクを逐次的に学習できるか？
• RQ2 継続的学習の過程で、以前に学習したタスクに不可欠な最も重要なパラメータをどのように特定し、保護できるか？
• RQ3 シナプス統合のような生物学的インスピレーションを持つメカニズムを、人工ニューラルネットワークに効果的に実装できるか？
• RQ4 パラメータの重要度の指標としてフィッシャー情報が用いられることで、過去の知識の保持がより効果的になるか？
• RQ5 EWCは、Atari 2600ゲームのような複雑で現実的な学習環境にもスケーリング可能か？

主な発見

• EWCは、MNISTの数字分類タスクにおける連続的学習において、深刻な忘却を効果的に防ぎ、以前に学習した数字の分類精度を高い水準で維持した。
• この手法により、深層強化学習エージェントが、複数のAtari 2600ゲームを逐次的に学習しながら、初期のゲームでのパフォーマンスを保持できた。
• EWCは、パラメータ数および学習例数に対して線形にスケーリングされる最小限の計算コストで実現された。
• パラメータの重要度を推定するフィッシャー情報の使用は、単純な重み減衰やランダムなプルーニングよりも、より効果的な正則化をもたらした。
• EWCは、経験リプレイや固定事前分布を用いたエラスティック・ウェイト・コンソリデーションといった先行手法を上回り、特に高次元かつ複雑なドメインで顕著な優位性を示した。
• このアルゴリズムの成功は、脳におけるシナプス統合機構が長期記憶保持の背後にある可能性を支持しており、人工系でも模倣可能である可能性を示唆している。