[論文レビュー] Learning Fast, Learning Slow: A General Continual Learning Method based on Complementary Learning System

Elahe Arani, Fahad Sarfraz+1 more|arXiv (Cornell University)|Jan 29, 2022

Memory Processes and Influences被引用数 37

ひとこと要約

CLS-ERは脳の補完学習システムに着想を得たデュアルメモリ体験リプレイ法で、タスク境界や強いデータ分布仮定なしに最先端の継続学習性能を達成します。

ABSTRACT

Humans excel at continually learning from an ever-changing environment whereas it remains a challenge for deep neural networks which exhibit catastrophic forgetting. The complementary learning system (CLS) theory suggests that the interplay between rapid instance-based learning and slow structured learning in the brain is crucial for accumulating and retaining knowledge. Here, we propose CLS-ER, a novel dual memory experience replay (ER) method which maintains short-term and long-term semantic memories that interact with the episodic memory. Our method employs an effective replay mechanism whereby new knowledge is acquired while aligning the decision boundaries with the semantic memories. CLS-ER does not utilize the task boundaries or make any assumption about the distribution of the data which makes it versatile and suited for "general continual learning". Our approach achieves state-of-the-art performance on standard benchmarks as well as more realistic general continual learning settings.

研究の動機と目的

• 非定常データストリームにおける壊滅的忘却の問題に対処することで継続学習を促進する。
• デュアルセマンティックメモリを通じて急速な（海馬のような）と遅い（新皮質のような）学習を組み込む。
• タスク境界や強い分布仮定に依存しない一般的なリプレイベースの枠組みを開発する。
• リプレイ中に作業モデルをセマンティックメモリと整合させ、知識を統合する。

提案手法

• エピソード的（バッファされたサンプル）、長期的セマンティック（安定したEMAウェイト）、短期的セマンティック（可塑的EMAウェイト）の三つの記憶を備えたCLS-ERを導入する。
• 可塑的と安定モデルを異なるレート（rP > rS）と減衰パラメータ（αP, αS）で更新して、二つのEMAベースのセマンティックメモリを維持する。
• リザーバサンプリングを用いて固定されたエピソードメモリを管理し、バッファが時間とともにデータストリームの分布に一致するようにする。
• 訓練中、 ground-truthクラスの尤度が高くなるモデルに基づいてセマンティックメモリからリプレイロジットを選択し、標準のクロスエントロピーに加えて一貫性損失を課す。
• 現在のサンプルとメモリサンプルのクロスエントロピーの組み合わせと、選択されたセマンティックロジットとの平均二乗誤差一貫性損失を最小化して作業モデルを更新する。
• 長期知識と一般化を強調するために安定モデルを用いて推論する。

実験結果

リサーチクエスチョン

• RQ1 タスク境界に依存せず、急速と遅いセマンティックメモリを備えたデュアルメモリシステムは継続学習における知識統合を改善できるか？
• RQ2 作業モデルの意思決定境界をセマンティックメモリと整列させることで、保持とタスク間の適応をより良く滑らかにできるか？
• RQ3 EMAベースのセマンティックメモリ（短期・長期）は、さまざまなCL設定における一般的な incremental learning に有効か？
• RQ4 リザーバベースのエピソードメモリと一貫性損失を組み合わせた場合、Class-IL、Domain-IL、General Incremental Learning のシナリオで従来のリプレイベースと比べて優れているか？

主な発見

• CLS-ERはClass-IL、Domain-IL、GCILを含む複数の継続学習ベンチマークと設定で最先端の性能を達成する。
• EMAベースの更新を伴う短期的/長期的セマンティックメモリを使用することで、ER、DER++、GEMなどのベースラインと比較して統合を改善し忘却を減らす。
• CLS-ERは収束がより平坦なミニマに収束し、キャリブレーションが向上することを示し、摂動に対する頑健性と信頼性の高い不確実性推定を示唆する。
• この手法はメモリ予算の変動に対して頑健で、オンラインCL風の設定（例：MNISTベースのGCIL）で高い性能を示す。
• 実証的分析はCLS-ERが最近のタスクバイアスを緩和し、シーケンス全体でより均一なタスク確率を生み出すことを明らかにする。