[論文レビュー] Using Hindsight to Anchor Past Knowledge in Continual Learning

Arslan Chaudhry, Albert Gordo+3 more|arXiv (Cornell University)|Feb 19, 2020

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、継続的学習における忘却を軽減するために、各クラスの代表的「アンカー」データポイントを学習する、二段階最適化手法であるヒンタリーアンカーラーニング（HAL）を提案する。将来の忘却を後から模倣し、これらのアンカーにおける予測を不変に保つことで、CIFAR-100 や MNIST などの複数のベンチマークで、標準的な経験的リプレイを上回る精度の向上と忘却の低減を実現する。

ABSTRACT

In continual learning, the learner faces a stream of data whose distribution changes over time. Modern neural networks are known to suffer under this setting, as they quickly forget previously acquired knowledge. To address such catastrophic forgetting, many continual learning methods implement different types of experience replay, re-learning on past data stored in a small buffer known as episodic memory. In this work, we complement experience replay with a new objective that we call anchoring, where the learner uses bilevel optimization to update its knowledge on the current task, while keeping intact the predictions on some anchor points of past tasks. These anchor points are learned using gradient-based optimization to maximize forgetting, which is approximated by fine-tuning the currently trained model on the episodic memory of past tasks. Experiments on several supervised learning benchmarks for continual learning demonstrate that our approach improves the standard experience replay in terms of both accuracy and forgetting metrics and for various sizes of episodic memories.

研究の動機と目的

• ニューラルネットワークが新しいタスクにさらされた際に、以前に習得した知識を急速に失う、深刻な忘却問題を解決すること。
• 過去のデータを保存するが、依然として顕著な忘却を経験する既存の経験的リプレイ手法の限界を克服すること。
• 過去のタスクからの重要な、忘れにくい例を特定・保存することで、記憶に基づく継続的学習を強化する手法を開発すること。
• 将来の学習における忘却を最大化する代表的なアンカー点を学習することで、継続的学習における一般化性と安定性を向上させること。
• 経験的リプレイと新しいアンカーモデルを組み合わせることで、標準的な継続的学習ベンチマークで最先端の性能を達成すること。

提案手法

• 二段階最適化を用い、現在のタスクの損失を最小化すると同時に、過去のタスクからの学習済みアンカー点における予測を不変に保つ。
• 入力空間における勾配上昇を用いてアンカー点を学習し、現在のタスクにおける忘却損失の近似値を最大化する。
• 現在のモデルを過去のタスクのエピソードメモリで微調整し、アンカー点での性能低下を測定することで、忘却を近似する。
• 各タスク・各クラスに対して1つのアンカーを構築し、忘却が最も起こりやすい分類境界付近に配置する。
• 経験的リプレイにアンカーモデルを統合し、現在のデータとエピソードメモリの両方でモデルを訓練するが、アンカー点における予測は保持する。
• ネストされた最適化スキームを用いる：外側のループは現在の損失を最小化するようにモデルパラメータを更新し、内側のループは期待される忘却を最大化するようにアンカー位置を最適化する。

実験結果

リサーチクエスチョン

• RQ1 過去のタスクからの重要で忘れにくい例の予測を特定・保持することで、継続的学習における経験的リプレイを改善できるか？
• RQ2 将来の忘却を模倣してアンカー点を学習することで、標準的なリプレイと比較して一般化性が向上し、忘却が軽減されるか？
• RQ3 提案されたアンカーメカニズムは、さまざまなエピソードメモリサイズや継続的学習ベンチマークでどのように動作するか？
• RQ4 二段階最適化を用いて、メモリのオーバーヘッドを増加させずにモデルの安定性を向上させる代表的データポイントを学習できるか？
• RQ5 正則化、モジュラー、記憶ベースの継続的学習手法と比較して、精度と忘却指標の両面で本手法は優れているか？

主な発見

• HALは、MNISTの並び替え、MNISTの回転、分割CIFAR-100、分割miniImageNetの4つの標準的な継続的学習ベンチマークで最先端の性能を達成した。
• HALは、全ベンチマークで経験的リプレイベースラインと比較して、精度を最大7.5%向上させ、忘却を約23%低減した。
• HALの性能向上は、1～5例/クラス/タスクのさまざまなエピソードメモリサイズにおいて一貫して観察された。
• アンカーは分類境界付近に配置されており、忘却のリスクが最も高いポイントとしての役割を果たしていることが確認された。
• EWC、ICARL、VCL、AGEM、MER、MIRといった強力なベースラインと比較して、精度と忘却低減の両面で顕著に優れた性能を示した。
• アブレーションスタディにより、アンカーモデルが不可欠であることが確認され、これを除去すると標準的な経験的リプレイよりも性能が低下した。