[論文レビュー] New Insights on Reducing Abrupt Representation Change in Online Continual Learning

Lucas Caccia, Rahaf Aljundi+4 more|arXiv (Cornell University)|Apr 11, 2021

Domain Adaptation and Few-Shot Learning被引用数 45

ひとこと要約

その論文は、標準的な経験再現ERが新しいクラスが現れると大きな表現ドリフトを引き起こすことを明らかにし、ドリフトを緩和するために非対称損失アプローチ（ER-AMLとER-ACE）を提案し、メモリと計算リソース制約の下でオンライン継続学習の性能を向上させる。

ABSTRACT

In the online continual learning paradigm, agents must learn from a changing distribution while respecting memory and compute constraints. Experience Replay (ER), where a small subset of past data is stored and replayed alongside new data, has emerged as a simple and effective learning strategy. In this work, we focus on the change in representations of observed data that arises when previously unobserved classes appear in the incoming data stream, and new classes must be distinguished from previous ones. We shed new light on this question by showing that applying ER causes the newly added classes' representations to overlap significantly with the previous classes, leading to highly disruptive parameter updates. Based on this empirical analysis, we propose a new method which mitigates this issue by shielding the learned representations from drastic adaptation to accommodate new classes. We show that using an asymmetric update rule pushes new classes to adapt to the older ones (rather than the reverse), which is more effective especially at task boundaries, where much of the forgetting typically occurs. Empirical results show significant gains over strong baselines on standard continual learning benchmarks.

研究の動機と目的

• 新しいクラスが到来する際の ER の下でのオンライン継続学習における表現ドリフトを動機づけ、分析する。
• タスク境界で生じる急激な表現変化の根本原因を特定する。
• ドリフトを緩和するための非対称損失ベースの手法（ER-AMLおよびER-ACE）を提案・評価する。
• 制約されたリソース下で標準的なオンラインCLベンチマークにおける性能向上を示す。
• 実用的なオンライン学習導入のための計算コスト分析を提供する。

提案手法

• ストリームに新しいクラスが現れるときの ER によって引き起こされる表現ドリフトを経験的に診断する。
• ER-AML を提案する： incoming data に対して距離測定学習 loss を適用し、ネガティブは incoming バッチに制限され、リプレイバッファにはクロスエントロピー風の loss を組み合わせる。
• ER-ACE を提案する：softmax の分母が現在のバッチに含まれない古いクラスのネガティブを除外する非対称クロスエントロピー損失。
• 新しいクラスを学習しつつ古い表現を保持するため、incomingデータとリプレイデータに異なる損失を適用する非対称設定へ一般化する。
• 追加の利得のために既存のリプレイ手法と ER-ACE を組み合わせることも可能。
• 単一ヘッド、オンライン、メモリ制約設定の標準的なオンラインCLベンチマークで評価し、計算コストを分析する。

実験結果

リサーチクエスチョン

• RQ1 リプレイを用いたオンライン継続学習に新しいクラスが導入されたとき、急激な表現変化の原因は何か？
• RQ2 incoming と replay データで非対称損失スキームを用いることで、新しいクラスの学習を犠牲にすることなく表現ドリフトを減らせるか？
• RQ3 ER-AML と ER-ACE はメモリと計算制約下の典型的なオンラインCLベンチマークで堅牢な性能を提供するか？
• RQ4 これらの手法は計算コストとオンライン展開の実用性の観点でどう比較されるか？

主な発見

• 標準的なリプレイを用いる ER は、新しいクラスが到来すると古いクラスの表現が著しくドリフトする。
• incoming データと replay データを別々に扱う非対称損失を用いると表現ドリフトを緩和し、タスク境界での安定性が向上する。
• 制限されたネガティブ（incoming バッチのみ）を用いる ER-AML はドリフトを減らし、小さなリプレイバッファで特に大きな精度向上をもたらす。
• ER-ACE は非対称な扱いをした単純なクロスエントロピ変種である ER-ACE は強力な性能向上を達成し、多くの設定で ER-AML に匹敵または上回る。
• ER-AML と ER-ACE は、オンライン単一ヘッド制約の下で Split CIFAR-10, Split CIFAR-100, および Mini-Imagenet で最先端の結果を達成し、ER, MIR, DER++, SS-IL に対して顕著な利得を示し、特に厳しいメモリ予算下で顕著。
• 提案手法は新しいクラスの学習能力を維持しつつ古いクラスの認識を保持し、追加の利得のために既存の手法と組み合わせることができる。