[論文レビュー] Online Continual Learning with Maximal Interfered Retrieval

Rahaf Aljundi, Eugene Belilovsky+5 more|arXiv (Cornell University)|Jan 1, 2019

Domain Adaptation and Few-Shot Learning被引用数 206

ひとこと要約

本論文では、近い将来のパラメータ更新によって予測される影響が最も深刻な（干渉が最も強い）サンプルを記憶から選択的にリハーサルすることで、リハーサルを改善する新しいオンライン継続的学習手法であるMaximal Interfered Retrieval（MIR）を提案する。干渉が強い例を優先してリハーサルすることで、MIRは著しく災難的忘却（catastrophic forgetting）を軽減し、標準ベンチマークで最先端の性能を達成し、ランダムリハーサルや標準リハーサルベースラインを上回る性能を発揮する。

ABSTRACT

Continual learning, the setting where a learning agent is faced with a never-ending stream of data, continues to be a great challenge for modern machine learning systems. In particular the online or single-pass through the data setting has gained attention recently as a natural setting that is difficult to tackle. Methods based on replay, either generative or from a stored memory, have been shown to be effective approaches for continual learning, matching or exceeding the state of the art in a number of standard benchmarks. These approaches typically rely on randomly selecting samples from the replay memory or from a generative model, which is suboptimal. In this work, we consider a controlled sampling of memories for replay. We retrieve the samples which are most interfered, i.e. whose prediction will be most negatively impacted by the foreseen parameters update. We show a formulation for this sampling criterion in both the generative replay and the experience replay setting, producing consistent gains in performance and greatly reduced forgetting. We release an implementation of our method at https://github.com/optimass/Maximally_Interfered_Retrieval

研究の動機と目的

• 過去の例を再訪問できない継続的なデータストリームに直面するオンライン継続的学習における災難的忘却を解決すること。
• 蓄えられた経験をランダムまたはヒューリスティックにサンプリングする従来のリハーサルベースの継続的学習手法の改善に向けた取り組み。
• 干渉に対して脆弱な例を特定し、優先順位をつける原理的で動的なサンプリング戦略の開発。
• 経験リハーサルおよび生成的リハーサルの両設定において、標準の継続的学習ベンチマークで一貫した性能向上を示すこと。

提案手法

• 各保存済みサンプルに対する将来のパラメータ更新が及える予想される負の影響（干渉）に基づいたリtrieバル基準を定式化する。
• 各メモリサンプルの干渉スコアを計算し、次のフォワードパスと重み更新後にそのサンプルのモデル出力がどの程度劣化するかを推定する。
• 経験リハーサルでは、過去の例を保存するバッファから干渉スコアが最大の上位k個のサンプルをリtrieveする。
• 生成的リハーサルでは、候補を生成し、最大の予測干渉を示すサンプルを選択することで、最も干渉を受けたサンプルをリtrieveする。
• オンライン継続的学習パイプラインにスムーズに統合可能であり、アーキテクチャの変更は最小限に抑えられる。
• 本手法は、再現可能性およびコミュニティ利用を目的として、https://github.com/optimass/Maximally_Interfered_Retrieval にて公開されている。

実験結果

リサーチクエスチョン

• RQ1 動的で干渉に配慮したサンプリング戦略は、オンライン継続的学習におけるリハーサル性能を向上させることができるか？
• RQ2 予測干渉が最大のサンプルを優先することで得られる性能は、ランダムまたは一様サンプリングと比較してどのように異なるか？
• RQ3 提案手法は、さまざまなベンチマークにおいて、既存のリハーサルベース手法よりも効果的に忘却を軽減できるか？
• RQ4 干渉に基づくリtrieve戦略は、経験リハーサルおよび生成的リハーサルの両設定に効果的に適用可能か？
• RQ5 干渉に基づくリtrieve戦略は、長期間にわたる継続的学習ストリームにおいて、モデルの精度と安定性にどのような影響を与えるか？

主な発見

• 提案されたMaximal Interfered Retrieval手法は、複数の継続的学習ベンチマークにおいて、ランダムおよび標準リハーサルベースラインを上回る一貫した性能向上を達成した。
• 予測干渉が最大のサンプルをリtrieveすることで、オンライン学習中の災難的忘却が著しく軽減された。
• 経験リハーサルおよび生成的リハーサルの両設定において、既存の最先端手法を上回る性能を発揮した。
• 単一パスでかつオンラインな継続的学習設定において、本手法は頑健性と有効性を示した。これは特に挑戦的な状況であると知られている。
• 実装は公開されており、干渉に配慮した継続的学習分野における再現可能性およびさらなる研究を促進する。