[論文レビュー] Reducing Representation Drift in Online Continual Learning.

Lucas Caccia, Rahaf Aljundi+3 more|arXiv (Cornell University)|Apr 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 5

ひとこと要約

本論文は、メトリック学習に基づく損失関数を用いてネガティブサンプルを戦略的に選択することで、経験リプレイを改善し、オンライン継続的学習における表現のずれを低減する新しい手法を提案する。新規クラスが導入される際、以前に学習したクラスの表現が安定化されることで、計算リソースおよびメモリのオーバーヘッドを最小限に抑えつつ、オンライン継続的学習ベンチマークで最先端の性能を達成する。

ABSTRACT

In the online continual learning paradigm, agents must learn from a changing distribution while respecting memory and compute constraints. Previous work in this setting often tries to reduce catastrophic forgetting by limiting changes in the space of model parameters. In this work we instead focus on the change in representations of observed data that arises when previously unobserved classes appear in the incoming data stream, and new classes must be distinguished from previous ones. Starting from a popular approach, experience replay, we consider metric learning based loss functions which, when adjusted to appropriately select negative samples, can effectively nudge the learned representations to be more robust to new future classes. We show that this selection of negatives is in fact critical for reducing representation drift of previously observed data. Motivated by this we further introduce a simple adjustment to the standard cross entropy loss used in prior experience replay that achieves similar effect. Our approach directly improves the performance of experience replay for this setting, obtaining state-of-the-art results on several existing benchmarks in online continual learning, while remaining efficient in both memory and compute. We release an implementation of our experiments at this https URL

研究の動機と目的

• 新規クラスが導入されるたびに、以前に学習したクラスの表現が劣化するオンライン継続的学習における表現のずれを解消すること。
• メトリック学習におけるネガティブサンプルの選択方法を変更することで、将来に登場する未学習のクラスに対して学習済み表現のロバスト性を向上させること。
• 標準的な経験リプレイを、表現のずれを低減するシンプルで効果的なクロスエントロピー損失の調整によって強化すること。
• 計算およびメモリの効率を維持しつつ、オンライン継続的学習ベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• 本手法は、表現を安定化させるために、以前に学習したクラスからのハードネガティブサンプルを動的に選択するメトリック学習に基づく損失関数を導入する。
• 経験リプレイで使用される標準的なクロスエントロピー損失を、表現のずれを低減するための選択的ネガティブサンプル選択戦略を組み込むことで変更する。
• 本手法は、新規クラスが導入される際、古いクラスの表現が曖昧または不十分に分離されていることが表現のずれの原因であるという考えを活用する。
• 過去のデータを格納するメモリバッファを用い、リプレイ時に改善された損失関数を適用することで、特徴空間の幾何構造を一貫して維持する。
• ネガティブサンプル選択戦略は、ずれを引き起こす可能性が最も高いサンプルを優先し、古いクラスの表現が新しいクラスの干渉に対してロバストであることを保証する。
• 本手法は計算的に効率的であり、既存のオンライン継続的学習フレームワークと互換性があり、アーキテクチャの変更を一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 メトリック学習における戦略的ネガティブサンプル選択は、オンライン継続的学習における表現の安定性にどのように影響するか？
• RQ2 標準的なクロスエントロピー損失に対するシンプルな修正は、計算コストを増加させることなく表現のずれを低減できるか？
• RQ3 改善されたネガティブサンプル選択は、オンライン継続的学習ベンチマークにおけるパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 本手法は、コンセプトドリフトに対するロバスト性の観点から、先行する経験リプレイ手法と比較してどのように差をつけるか？

主な発見

• 本手法は、トレーニング中に以前に学習したクラスからのハードネガティブサンプルに焦点を当てることで、表現のずれを顕著に低減する。
• 変更されたクロスエントロピー損失は、メトリック学習に基づく手法と同等のパフォーマンスを達成するが、実装がシンプルで計算オーバーヘッドが低い。
• 本手法は、複数のオンライン継続的学習ベンチマークで最先端の結果を達成し、標準的な経験リプレイおよび先行手法を上回る。
• 本手法は高い効率性を維持しており、ベースラインの経験リプレイと比較して、わずかにメモリおよび計算リソースを増加するにとどまる。