[論文レビュー] Dark Experience for General Continual Learning: a Strong, Simple Baseline

Pietro Buzzega, Matteo Boschini+3 more|arXiv (Cornell University)|Apr 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 90

ひとこと要約

この論文は Dark Experience Replay (DER) と DER++ を紹介します。これらは最適化軌跡からのモデルロジットを蓄積し、蒸留を用いて General Continual Learning (GCL) における忘れを軽減する、再生ベースのシンプルなベースラインです。彼らは標準CLベンチマークと新しい MNIST-360 評価の下で、多くの最先端手法を上回ります。

ABSTRACT

Continual Learning has inspired a plethora of approaches and evaluation settings; however, the majority of them overlooks the properties of a practical scenario, where the data stream cannot be shaped as a sequence of tasks and offline training is not viable. We work towards General Continual Learning (GCL), where task boundaries blur and the domain and class distributions shift either gradually or suddenly. We address it through mixing rehearsal with knowledge distillation and regularization; our simple baseline, Dark Experience Replay, matches the network's logits sampled throughout the optimization trajectory, thus promoting consistency with its past. By conducting an extensive analysis on both standard benchmarks and a novel GCL evaluation setting (MNIST-360), we show that such a seemingly simple baseline outperforms consolidated approaches and leverages limited resources. We further explore the generalization capabilities of our objective, showing its regularization being beneficial beyond mere performance.

研究の動機と目的

• 一般的なタスク境界が明確でない継続学習設定の研究動機を提示する。
• リハーサルと蒸留を組み合わせた、単純でメモリ効率の高いベースラインを提案する。
• DERの有効性を、多様なCLベンチマークと新しいGCL設定 MNIST-360 で実証する。
• DER/DER++ の挙動を、損失景観、キャリブレーション、バッファの有用性の観点から分析する。

提案手法

• 最適化中にサンプルされた過去のロジットをリプレイバッファに蓄積する（reservoir sampling を使用）。
• 現在のタスク損失と、現在のロジットとバッファされた過去ロジットとの間の KL/類似の正則化項を最小化する。
• KL項を、ロジットを一致させることで近似する（現在のロジットとバッファされたロジット間のL2距離）。
• DERをDER++へ拡張し、バッファサンプル上の小さな真実ラーニング損失項を最適化する項を追加して、バッファロジットを整合させる。
• Task-IL、Class-IL、Domain-IL の設定と新しい MNIST-360 GCL プロトコルで評価する。

実験結果

リサーチクエスチョン

• RQ1 簡易なロジット再生（DER）が、GCL の制約下でより複雑な継続学習手法を上回ることができるか。
• RQ2 最適化軌跡からのロジットを組み込むことで、タスク間の保持、キャリブレーション、一般化が向上するか。
• RQ3 DERとDER++は、ER、正則化法、他のリハーサル戦略と比較して標準CLベンチマークやMNIST-360でどの程度競合するか。
• RQ4 バッファサイズとハイパーパラメータが性能と安定性に与える影響はどうか。

主な発見

• DERとDER++は、複数の標準CLベンチマーク（Class-IL、Task-IL、Domain-IL）で最先端の性能を達成する。
• ロジットのリザーバベースのバッファリングは、ERや正則化法と比較して平坦な最小値と向上したキャリブレーションを生む。
• DER/DER++は、特にDomain-ILおよびClass-ILタスクで、限定メモリと合理的な学習時間で競争力のある、あるいは優れた結果を示す。
• DERはより平坦な最小値へ収束し、いくつかのベースラインよりもFisher情報トレースが低く、頑健な一般化可能性を示す。
• DER++は、バッファサンプル上の小さな真実ラーニング損失項を追加することで結果をさらに改善し、特に難易度の高いベンチマークで有益。
• MNIST-360 では、DERとDER++は複数のリプレイベース変種を上回り、厳しいGCL設定での有効性を裏付けている。