[論文レビュー] Online Continual Learning with Maximally Interfered Retrieval

Rahaf Aljundi, Lucas Caccia+5 more|arXiv (Cornell University)|Aug 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 75

ひとこと要約

本論文は、オンライン継続学習のリプレイに基づく手法として Maximally Interfered Retrieval (MIR) を導入し、今後のパラメータ更新で最も影響を受けるリプレイサンプルを選択して忘却を低減する。

ABSTRACT

Continual learning, the setting where a learning agent is faced with a never ending stream of data, continues to be a great challenge for modern machine learning systems. In particular the online or "single-pass through the data" setting has gained attention recently as a natural setting that is difficult to tackle. Methods based on replay, either generative or from a stored memory, have been shown to be effective approaches for continual learning, matching or exceeding the state of the art in a number of standard benchmarks. These approaches typically rely on randomly selecting samples from the replay memory or from a generative model, which is suboptimal. In this work, we consider a controlled sampling of memories for replay. We retrieve the samples which are most interfered, i.e. whose prediction will be most negatively impacted by the foreseen parameters update. We show a formulation for this sampling criterion in both the generative replay and the experience replay setting, producing consistent gains in performance and greatly reduced forgetting. We release an implementation of our method at https://github.com/optimass/Maximally_Interfered_Retrieval.

研究の動機と目的

• オンラインのワンパス連続学習における壊滅的な忘却に対処する。
• 次の更新で最も影響を受ける記憶を選択してリプレイ品質を向上させる（最大干渉）。
• 経験リプレイと生成リプレイの双方の設定で MIR の利点を実証する。
• スケーラブルな MIR 取り出しのためにオートエンコーダを用いて記憶を圧縮するハイブリッド手法を検討する。

提案手法

• MIRを用いたメモリベースのリハーサルを定義する：受信バッチから推定パラメータ更新を適用した後に損失が最も増加するバッファ内のトップk記憶を取得する（MI-1/MI-2基準）。
• 潜在空間 Z で推定更新前後の損失差を最大化するよう探索し、正則化目的関数を用いて生成リプレイに MIR を拡張する（式 1 および 式 2）。
• 計算量管理のため、リザーバサンプリングと多様性促進の事前選択（B を選ぶ前に C サンプル）を組み合わせた単純なバッファリング戦略を使用。
• 生成的 MIR の場合、事前モデル/現在のモデルからの予測で真のラベル y* を推定し、KL 発散を干渉の代理指標として用いる。必要に応じてエントロピー正則化を適用して信頼できる生成を促す（式 2）。
• ハイブリッド手法を提示：オートエンコーダで記憶を圧縮して大容量バッファを可能にし、潜在空間で MIR を実行し、最後に実データへの最近傍再構成を行う。

実験結果

リサーチクエスチョン

• RQ1 今後の更新によって最大干渉を受ける学習サンプルは、ランダムなリプレイよりも忘却を効果的に低減できるか。
• RQ2 MIRベースのリプレイ戦略は、経験リプレイと生成リプレイの両方の設定でオンライン継続学習の性能を向上させるか。
• RQ3 ハイブリッドなオートエンコーダーベースの MIR は、性能を犠牲にすることなくスケーラブルな記憶使用を可能にするか。

主な発見

• ER-MIR は、MNIST の分割と Permuted MNIST において、標準ERと比較して精度を向上させ、忘却を低減させる。
• メモリサイズが大きい CIFAR-10 では、ER-MIR はオンライン制約下で ER や GEM や iCarl といった一部のベースラインよりも精度と忘却の点で優れている。
• GEN-MIR は MNIST Split および Permuted MNIST で GEN（ランダム/リプレイベースライン）より生成器の損失と精度を改善し、エントロピー正則化項が重要な役割を果たす。
• 潜在空間 MIR と実データ再構成との整合を伴うハイブリッド AE-MIR アプローチは、忘却のトレードオフを改善し、より大きな圧縮記憶の利点をもたらす。
• 受信バッチごとの更新回数を増やすほど、データセット全体で MIR ベースの手法の性能が一般に向上する。