[論文レビュー] Continual evaluation for lifelong learning: Identifying the stability gap

Matthias De Lange, Gido M. van de Ven+1 more|arXiv (Cornell University)|May 26, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、反復ごとの監視による継続的評価を導入し、タスク遷移時に発生する一時的だが深刻な忘却、いわゆる「安定性ギャップ」を露呈する。最新の継続的学習手法である経験再現、知識蒸留、正則化手法は、新しいタスクを学習した後には回復するが、一時的な性能低下を示しており、標準的な評価手法に根本的な欠陥があることを明らかにするとともに、安全が求められる応用分野におけるリスクを強調している。

ABSTRACT

Time-dependent data-generating distributions have proven to be difficult for gradient-based training of neural networks, as the greedy updates result in catastrophic forgetting of previously learned knowledge. Despite the progress in the field of continual learning to overcome this forgetting, we show that a set of common state-of-the-art methods still suffers from substantial forgetting upon starting to learn new tasks, except that this forgetting is temporary and followed by a phase of performance recovery. We refer to this intriguing but potentially problematic phenomenon as the stability gap. The stability gap had likely remained under the radar due to standard practice in the field of evaluating continual learning models only after each task. Instead, we establish a framework for continual evaluation that uses per-iteration evaluation and we define a new set of metrics to quantify worst-case performance. Empirically we show that experience replay, constraint-based replay, knowledge-distillation, and parameter regularization methods are all prone to the stability gap; and that the stability gap can be observed in class-, task-, and domain-incremental learning benchmarks. Additionally, a controlled experiment shows that the stability gap increases when tasks are more dissimilar. Finally, by disentangling gradients into plasticity and stability components, we propose a conceptual explanation for the stability gap.

研究の動機と目的

• 継続的学習においてこれまで無視されてきた現象、すなわちタスク遷移時の一時的忘却、いわゆる「安定性ギャップ」を同定すること。
• 各タスクの後でのみ継続的学習者を評価するという標準的手法が、深刻な性能低下を隠蔽していることへの挑戦。
• 最悪の性能劣化を検出できる、反復ごとの監視を組み込んだ新しい評価フレームワークの提案。
• min-ACC や WC-ACC といった新規指標を用いて安定性ギャップを定量化すること。
• タスクの類似度が安定性ギャップの大きさに与える影響を調査すること。

提案手法

• 各タスクの後ではなく、パラメータ更新ごとにモデルを評価する継続的評価フレームワークを提案。
• 訓練中の最低性能を捉えるために、最小精度（min-ACC）と最悪ケース精度（WC-ACC）という新しい指標を導入。
• 安定性ギャップの概念的説明のため、学習可能性と安定性の成分に勾配を分離する手法を採用。
• ER、GEM、EWC、SI、LwF などの手法における安定性成分（例：∇L_stability）の勾配ノルムを分析。
• タスクの類似度を変化させた制御実験を実施し、安定性ギャップに与える影響を評価。
• アブレーションスタディにより、高頻度の評価がなければ安定性ギャップが検出できないことを検証。

実験結果

リサーチクエスチョン

• RQ1 最新の継続的学習手法が、タスク遷移時に顕著な一時的忘却を示すのはなぜか、かつ最終的に性能が回復するにもかかわらず。
• RQ2 標準的なタスクレベルの評価が、学習中の深刻な性能低下をなぜ検出できないのか。
• RQ3 データストリームにおける連続するタスクの類似度が、安定性ギャップにどの程度影響を及ぼすか。
• RQ4 学習可能性と安定性の成分に勾配を概念的に分解することで、安定性ギャップを説明できるか。
• RQ5 安定性ギャップは、安全が求められる応用分野や敵対的データストリーム操作に対して、どのような実用的影響を及ぼすか。

主な発見

• 安定性ギャップは、経験再現、制約ベースの再現（GEM）、知識蒸留（LwF）、パラメータ正則化（EWC、SI）といった多様な手法に共通して存在する。
• Split-MNIST、Split-CIFAR10、Mini-DomainNet といったクラスインクリメンタル、タスクインクリメンタル、ドメインインクリメンタルのベンチマークで一貫して観測された。
• 連続するタスクがより類似していない場合、安定性ギャップが顕著に増大する。Split-CIFAR10では、タスク類似度とギャップの深刻さの間に負の相関（ρ = -0.37）が確認された。
• 安定性ギャップを検出するには反復ごとの評価が不可欠であり、標準的なタスクレベル評価ではその存在が明らかにならない。これは、長年にわたりこの現象が見過ごされた理由を説明する。
• 勾配解析により、タスク遷移時に安定性勾配がほぼゼロに低下し、その後急激に回復することが確認され、概念的説明を裏付けた。
• 最悪ケース精度（WC-ACC）と min-ACC 指標により、新しいタスクを学習した直後、以前のタスクの性能がほぼゼロにまで低下する可能性があることが明らかになったが、最終的な精度は回復している。