[論文レビュー] Dark Experience for General Continual Learning: a Strong, Simple Baseline

Pietro Buzzega, M. Boschini+3 more|arXiv (Cornell University)|Apr 15, 2020

Domain Adaptation and Few-Shot Learning被引用数 272

ひとこと要約

この論文は Dark Experience Replay（DER）および DER++ を紹介し、最適化軌跡からの logits を格納して蒸留と組み合わせるシンプルなリプレイベースのベースラインを提示します。これにより General Continual Learning（GCL）下での忘却を軽減します。DER/DER++ は標準的な CL ベンチマークで多くの方法を上回り、新しい MNIST-360 設定でも優れた性能を示します。

ABSTRACT

Continual Learning has inspired a plethora of approaches and evaluation settings; however, the majority of them overlooks the properties of a practical scenario, where the data stream cannot be shaped as a sequence of tasks and offline training is not viable. We work towards General Continual Learning (GCL), where task boundaries blur and the domain and class distributions shift either gradually or suddenly. We address it through mixing rehearsal with knowledge distillation and regularization; our simple baseline, Dark Experience Replay, matches the network's logits sampled throughout the optimization trajectory, thus promoting consistency with its past. By conducting an extensive analysis on both standard benchmarks and a novel GCL evaluation setting (MNIST-360), we show that such a seemingly simple baseline outperforms consolidated approaches and leverages limited resources. We further explore the generalization capabilities of our objective, showing its regularization being beneficial beyond mere performance.

研究の動機と目的

• タスク境界があいまいでオンライン訓練が支配的となる一般的な継続学習を動機づけ、形式化する。
• リハーサルと知識蒸留を組み合わせ、最適化軌跡からの logits をリプレイする単純なベースラインを提案する。
• DER および DER++ が GCL 設定下で最先端の性能を達成することを実証し、正則化と校正特性を分析する。

提案手法

• DER を、現在のタスク損失に加え、現在の logits とリザーバ保 buffer から過去の logits との間の alpha 重み付き KL/ロジット距離項を最小化することとして定義する。
• リプレイバッファには正解ラベルではなく logits（z）を格納して過去の知識を蒸留する。
• データストリームからタスクに依存しないメモリバッファを維持するためにリザーバサンプリングを使用する。
• DER++ は過去データを正解指針と整合させる第二の正則化項を追加する（beta 重み付き損失成分）。
• ロジットを一致させることは、ソフトマックス前の反応を一致させることに近く、KL 発散をロジットのユークリッド差異に結びつける。
• DER および DER++ の実践的な訓練手順を含むアルゴリズムを提供する。

実験結果

リサーチクエスチョン

• RQ1 単純なロジットベースのリプレイベースライン（DER）は、タスク境界がなくても三つの主要な CL 設定（Task-IL、Class-IL、Domain-IL）間で一般化できるか？
• RQ2 DER は正則化ベース法および他のリハーサルベース法と比較して、精度、校正、訓練効率の面でどうか？
• RQ3 リザーバベースのタスク非依存メモリバッファは、テスト時のタスク識別子なしで継続学習を効果的に支援できるか？
• RQ4 DER++ はリプレイ時に正解指針を組み込むことで追加の利点を提供するか？
• RQ5 DER/DER++ は、急激と漸進的な分布シフトを組み合わせた新しい GCL ベンチマーク MNIST-360 でどのような挙動を示すか？

主な発見

• DER および DER++ は複数の CL ベンチマークで最先端の性能を達成し、リハーサルベースおよび非リハーサルベースのベースラインをしばしば上回る。
• DER はより平坦なミニマに収束し、ER や他のベースラインよりキャリブレーションが改善され、堅牢性と解釈性が向上する。
• 最適化軌跡のロジット（タスク境界出力ではなく）とリザーバサンプリングを用いることで、記憶の有用性とタスク間の一貫性が向上する。
• DER/DER++ は特にタスク境界が欠如または非識別的な Domain-IL および Class-IL 設定で高い性能を示す。
• バッファサイズが制約される場合、DER++ が提案手法の中で一般に最も良い結果を提供する。
• MNIST-360 は、急激と漸進的な分布シフトの新しい GCL レジーム下で DER/DER++ が有効であることを示す。