[論文レビュー] On Tiny Episodic Memories in Continual Learning

Arslan Chaudhry, Marcus Rohrbach+5 more|arXiv (Cornell University)|Feb 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 326

ひとこと要約

この論文は、Experience Replay (ER) を用いた非常に小さなエピソード記憶が、1クラスあたり1つの例のようなケースでも、特化した継続学習法を大幅に上回り、反復的なメモリ訓練が汎化性を向上させる可能性があることを示している。

ABSTRACT

In continual learning (CL), an agent learns from a stream of tasks leveraging prior experience to transfer knowledge to future tasks. It is an ideal framework to decrease the amount of supervision in the existing learning algorithms. But for a successful knowledge transfer, the learner needs to remember how to perform previous tasks. One way to endow the learner the ability to perform tasks seen in the past is to store a small memory, dubbed episodic memory, that stores few examples from previous tasks and then to replay these examples when training for future tasks. In this work, we empirically analyze the effectiveness of a very small episodic memory in a CL setup where each training example is only seen once. Surprisingly, across four rather different supervised learning benchmarks adapted to CL, a very simple baseline, that jointly trains on both examples from the current task as well as examples stored in the episodic memory, significantly outperforms specifically designed CL approaches with and without episodic memory. Interestingly, we find that repetitive training on even tiny memories of past tasks does not harm generalization, on the contrary, it improves it, with gains between 7\% and 17\% when the memory is populated with a single example per class.

研究の動機と目的

• 記憶を通じて過去の経験を活用し、新しいタスクへ知識を移転させるよう、継続学習（CL）を喚起する。
• 単一パスのデータ設定における非常に小さなエピソードメモリの有効性を定量的に評価する。
• 複数のベンチマークにわたり、Experience Replay (ER) を正則化系およびメモリベースの CL 手法と比較する。
• 極小メモリでの反復訓練がなぜ汎化に害を及ぼさず、むしろ改善する可能性があるのかを分析する。
• 極小のエピソード記憶を構成するためのメモリ書込み戦略を提案・評価する。

提案手法

• クロスバリデーションタスクと評価タスクの2つのタスクストリームを用いてデータを単一パスで処理する。
• 現在のタスクのミニバッチとメモリミニバッチを連結し、各ステップでメモリを更新して ER によって訓練する。
• ER をファインチューニング、EWC、A-GEM、MER のベースラインと比較する。4つのベンチマークで。
• 異なるメモリ書込み戦略（reservoir sampling、ring buffer、k-means、mean-of-features）を評価する。
• メモリサイズがデータセット全体の平均精度と忘却に与える影響を分析する。
• 反復的なメモリ訓練がデータ依存的な効果を通じて学習を正則化し得る理由について洞察を提供する。

実験結果

リサーチクエスチョン

• RQ1 極小のエピソード記憶を用いた Experience Replay は、多様なベンチマークで既存の CL 手法を上回るのか？
• RQ2 メモリサイズ（クラスごとに1つの例のように非常に小さい場合） は平均精度と忘却にどのように影響するのか？
• RQ3 現在のタスクデータとともにメモリの例で訓練することが、過剰適合を引き起こすのではなく、なぜ汎化を改善するのか？
• RQ4 どのメモリ書込み戦略が極小のメモリを最も効果的に活用するのか、ハイブリッド手法は個別戦略より優れた性能を発揮できるのか？
• RQ5 ER の計算オーバーヘッドは、より強力なCLベースラインと比べてどの程度か？

主な発見

• ER with tiny episodic memories substantially outperforms finetune, EWC, A-GEM, and MER across MNIST, CIFAR, CUB, and miniImageNet.
• Gains of 7% to 17% are observed when the memory contains a single example per class, compared to state-of-the-art CL methods.
• Repetitive training on memory examples does not harm generalization and can act as a data-dependent regularizer when training on subsequent tasks.
• Reservoir sampling excels with larger memories, while ring buffer, k-means, and mean-of-features perform best with extremely small memories to ensure class balance.
• A hybrid memory-writing strategy (switching from reservoir to ring buffer when any class is under-represented) achieves strong performance and favorable compute time.
• ER generally incurs only modest overhead over finetuning, and is cheaper than A-GEM or MER.