[論文レビュー] A simple but strong baseline for online continual learning: Repeated Augmented Rehearsal

Yaqian Zhang, Bernhard Pfahringer+4 more|arXiv (Cornell University)|Sep 28, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

本稿では、継続的学習における災難的忘却を軽減するために、メモリサンプルの繰り返し学習とデータ拡張を組み合わせた、シンプルで効果的なベースライン手法である繰り返し拡張リハーより（RAR）を提案する。RARは4つのオンライン継続的学習（OCL）ベンチマークにおいて、vanillaリハーサルを9–17%上回り、MIR、ASER、SCRといった最先端手法をも凌駕する。また、過去のデータの損失関数の表面を正確に近似し、高損失リッジを回避する。

ABSTRACT

Online continual learning (OCL) aims to train neural networks incrementally from a non-stationary data stream with a single pass through data. Rehearsal-based methods attempt to approximate the observed input distributions over time with a small memory and revisit them later to avoid forgetting. Despite its strong empirical performance, rehearsal methods still suffer from a poor approximation of the loss landscape of past data with memory samples. This paper revisits the rehearsal dynamics in online settings. We provide theoretical insights on the inherent memory overfitting risk from the viewpoint of biased and dynamic empirical risk minimization, and examine the merits and limits of repeated rehearsal. Inspired by our analysis, a simple and intuitive baseline, Repeated Augmented Rehearsal (RAR), is designed to address the underfitting-overfitting dilemma of online rehearsal. Surprisingly, across four rather different OCL benchmarks, this simple baseline outperforms vanilla rehearsal by 9%-17% and also significantly improves state-of-the-art rehearsal-based methods MIR, ASER, and SCR. We also demonstrate that RAR successfully achieves an accurate approximation of the loss landscape of past data and high-loss ridge aversion in its learning trajectory. Extensive ablation studies are conducted to study the interplay between repeated and augmented rehearsal and reinforcement learning (RL) is applied to dynamically adjust the hyperparameters of RAR to balance the stability-plasticity trade-off online. Code is available at https://github.com/YaqianZhang/RepeatedAugmentedRehearsal

研究の動機と目的

• オンライン継続的学習における、不足適合と過適合のジレンマに対処すること。具体的には、リハーサル手法がメモリサンプルに過適合する一方で、過去のタスクへの一般化が不十分になる問題を解決すること。
• 既存のリハーサルベース手法が、特に高損失リッジ付近で、過去データの真の損失関数の表面をどの程度正確に近似できるかを調査すること。
• 複雑なアーキテクチャの変更やハイパーパrameterチューニングを伴わずに、リハーサル性能を向上させるシンプルで効果的なベースラインを設計すること。
• 繰り返しリハーサルと拡張リハーサルの組み合わせが、オンライン継続的学習環境における一般化性能と安定性を向上させることを実証的に検証すること。

提案手法

• リハーサル用メモリサンプルと新規バッチの両方に、繰り返し順伝播とデータ拡張を適用する、繰り返し拡張リハーサル（RAR）を提案する。
• 二重正則化機構を導入する：繰り返し学習により過去データの学習が安定化し、拡張によりメモリサンプルの多様性と一般化性能が向上する。
• 強化学習を用いて、オンライン環境下でリプレイイテレーション回数と拡張強度を動的に調整し、安定性と柔軟性のバランスを最適化する。
• 繰り返しリハーサルと拡張リハーサルの相互作用を分析するためのアブレーションスタディを実施し、各データセットにおける最適な設定を同定する。
• 損失関数の表面可視化を用いて、RARが過去タスクの真の損失表面をどの程度正確に近似できるかを評価し、特に高損失リッジの回避に注目する。
• 理論的分析を通じて、メモリ過適合をバイアス付きかつ動的な経験的リスク最小化問題として定式化し、タスクサイズとメモリサイズの比λと関連付ける。

実験結果

リサーチクエスチョン

• RQ1 オンライン継続的学習における、繰り返しリハーサルとデータ拡張の相互作用は、災難的忘却の軽減にどのように寄与するか？
• RQ2 リプレイイテレーション回数と拡張強度の変化が、オンラインリハーサルにおけるモデル性能と一般化性能に与える影響は何か？
• RQ3 繰り返しリハーサルと拡張リハーサルを組み合わせたシンプルなベースラインが、複雑な最先端手法を上回ることができるか？
• RQ4 RARは、特に高損失リッジを回避する形で、過去データの真の損失関数表面をより良く近似できるか？
• RQ5 強化学習は、データストリーム環境下で、RARのハイパーパrameterをオンラインで適切にチューニングし、安定性と柔軟性のバランスを取ることができるか？

主な発見

• RARはCIFAR100、MiniImageNet、CLRS、CORE50を含む4つのOCLベンチマークにおいて、vanillaリハーサルを9–17%上回る性能を達成した。
• MIR、ASER、SCRといった最先端のリハーサルベース手法を著しく上回り、多様な設定にわたり広範な有効性を示した。
• 高損失リッジを回避できたことから、より良い一般化性能とより安定した学習が実現されたことが示された。
• アブレーションスタディの結果、繰り返しリハーサルや拡張リハーサルを単独で適用しても一貫した利点は得られず、両者の組み合わせが性能向上に不可欠であることが判明した。
• 標準的な繰り返しリハーサルが、20回のリプレイイテレーションで性能が低下するのに対し、RARは20回まで安定した性能を維持した。
• メモリと新規バッチの両方に拡張を適用した場合が最も優れた結果を示したが、RARE（新規データのみに拡張を適用）でも、標準的なERに比べてCORE50で7.7%の性能向上を達成した。