[論文レビュー] Consistency is the key to further mitigating catastrophic forgetting in continual learning

Prashant Bhat, Bahram Zonooz+1 more|arXiv (Cornell University)|Jul 11, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、継続的学習における経験再生（ER）に一貫性正則化を統合する手法を提案する。バッファに格納されたサンプルのソフトラベル予測を用いて学習を安定化させ、深刻な忘却を軽減する。保存済みデータの増幅された視覚的アセンブリに対して一貫した予測を強制することで、一般化性能、キャリブレーション、耐性が向上する。特に低バッファ環境下で顕著であり、全評価シナリオにおいて、vanilla ERを上回る性能を発揮する。ミンコフスキー距離と厳密な一貫性制約が最も効果的であることが判明した。

ABSTRACT

Deep neural networks struggle to continually learn multiple sequential tasks due to catastrophic forgetting of previously learned tasks. Rehearsal-based methods which explicitly store previous task samples in the buffer and interleave them with the current task samples have proven to be the most effective in mitigating forgetting. However, Experience Replay (ER) does not perform well under low-buffer regimes and longer task sequences as its performance is commensurate with the buffer size. Consistency in predictions of soft-targets can assist ER in preserving information pertaining to previous tasks better as soft-targets capture the rich similarity structure of the data. Therefore, we examine the role of consistency regularization in ER framework under various continual learning scenarios. We also propose to cast consistency regularization as a self-supervised pretext task thereby enabling the use of a wide variety of self-supervised learning methods as regularizers. While simultaneously enhancing model calibration and robustness to natural corruptions, regularizing consistency in predictions results in lesser forgetting across all continual learning scenarios. Among the different families of regularizers, we find that stricter consistency constraints preserve previous task information in ER better.

研究の動機と目的

• 標準的な経験再生（ER）が性能を発揮しない低バッファ環境下での深刻な忘却の問題を解決すること。
• ERに基づく継続的学習における知識保持に、ソフト予測の一致正則化がどのように寄与するかを調査すること。
• ミンコフスキー距離、KLダイバージェンス、MSE、自己教師付きプロキシタスクを含む多様な一貫性正則化子の有効性を評価すること。
• 一貫性正則化がモデルキャリブレーション、分布シフトに対する耐性、タスクの新鮮さバイアスの緩和に与える影響を検討すること。

提案手法

• 過去のタスクの入力画像と正解ラベルに加えて、モデルの予測（ソフトラベル）をバッファに格納する。
• 訓練中、バッファに格納されたサンプルのオリジナルと増幅された視覚的アセンブリの間の予測のずれをペナルティ化することで、一貫性正則化を適用する。
• 複数の正則化子を用いる：Lpノルム（ミンコフスキー距離）、KLダイバージェンス、MSEを用いて、正則化の有効性を比較する。
• 一貫性正則化を自己教師付きプロキシタスクとして定式化し、最先端のSSL手法を正則化子として統合可能にする。
• ERに一貫性正則化を適用したモデルを順次タスクで訓練し、継続的学習ベンチマークで性能を評価する。
• 期待キャリブレーション誤差（ECE）によるモデルキャリブレーションの分析、CIFAR-10-Cによる耐性評価、タスクごとの予測確率の正規化によるタスク新鮮さバイアスの評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 低バッファ環境下における経験再生（ER）において、ソフト予測の一致正則化が知識保持にどのように寄与するか？
• RQ2 Lp、KL、MSEなどの正則化子のファミリーの中で、継続的学習における忘却軽減に最も効果的なのはどれか？
• RQ3 自己教師付き学習手法をERベースの継続的学習における一貫性正則化子として効果的に再利用できるか？
• RQ4 一貫性正則化は、自然なノイズや汚染に対するモデルの耐性をどの程度向上させるか？
• RQ5 一貫性正則化は、継続的学習におけるタスクの新鮮さバイアスを緩和するか？

主な発見

• 一貫性正則化は、すべての継続的学習シナリオにおいて深刻な忘却を顕著に軽減する。特にバッファサイズが小さい場合（例：500サンプル）でも同様の効果を示す。
• ミンコフスキー距離関数（Lpノルム）は、予期しないほど効果的かつ効率的であり、KLダイバージェンスやMSEを上回る忘却軽減効果を示す。
• より厳しい一貫性制約は、過去のタスク知識の保持をより良くし、緩い制約よりも忘却をより効果的に低減する。
• すべての正則化子がモデルキャリブレーションを向上させる。特に厳しい制約では、期待キャリブレーション誤差（ECE）がvanilla ERと比較して最大で半減する。
• 一貫性正則化により、CIFAR-10-Cの全15種類の汚染に対して自然な腐敗に対する耐性が向上し、すべての汚染タイプでvanilla ERを上回る性能を発揮する。
• タスクの新鮮さバイアスは副次的に緩和され、vanilla ERが示す極端に偏った予測確率とは異なり、タスク間の予測確率がより均等に分布するようになる。