[論文レビュー] Adversarial Shapley Value Experience Replay for Task-Free Continual Learning.

Zheda Mai, Dongsub Shim+4 more|arXiv (Cornell University)|Aug 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 5

ひとこと要約

本稿では、安定性と柔軟性のバランスを図るために敵対的シャープレー値を用いてメモリサンプルのスコアを付けることで、タスクフリー連続的学習のための新規手法である敵対的シャープレー値経験再生（ASER）を提案する。古い意思決定境界を保持しつつ現在の境界を破壊するサンプルを優先することで、最先端の経験再生手法と比較して、複数のデータセットで競争的または優れた性能を達成する。

ABSTRACT

Continual learning is a branch of deep learning that seeks to strike a balance between learning stability and plasticity. In this paper, we specifically focus on the task-free setting where data are streamed online without task metadata and clear task boundaries. A simple and highly effective algorithm class for this setting is known as Experience Replay (ER) that selectively stores data samples from previous experience and leverages them to interleave memory-based and online batch learning updates. Recent advances in ER have proposed novel methods for scoring which samples to store in memory and which memory samples to interleave with online data during learning updates. In this paper, we contribute a novel Adversarial Shapley value ER (ASER) method that scores memory data samples according to their ability to preserve latent decision boundaries for previously observed classes (to maintain learning stability and avoid forgetting) while interfering with latent decision boundaries of current classes being learned (to encourage plasticity and optimal learning of new class boundaries). Overall, we observe that ASER provides competitive or improved performance on a variety of datasets compared to state-of-the-art ER-based continual learning methods.

研究の動機と目的

• タスク境界やメタデータのない連続的学習の課題に対処すること。
• 以前に学習されたクラスの潜在的意思決定境界を保存することで、学習の安定性を向上させること。
• 現在学習中のクラスの意思決定境界を妨害することで、柔軟性を高めること。
• 安定性と柔軟性の両方をバランスさせる経験再生用のデータスコアリング機構を開発すること。

提案手法

• ASERは、潜在的意思決定境界への影響に基づいて、メモリサンプルのスコアを敵対的シャープレー値によって算出する。
• 各メモリサンプルが以前に学習されたクラスの意思決定境界をどの程度保持するかを評価する。
• 同時に、各サンプルが現在学習中のクラスの意思決定境界をどの程度破壊するかを測定し、柔軟性を促進する。
• これらのスコアを経験再生に統合し、オンライン学習更新中にスコアの高いサンプルを選別・混合して使用する。
• 敵対的要因は、分布シフト下での意思決定境界の頑健性を評価するために特徴を摂動させることに由来する。
• 最終的なスコアは、二重目的の定式化により、安定性（旧境界の保持）と柔軟性（現在の境界の破壊）の両方をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 敵対的シャープレー値は、タスクフリー連続的学習におけるメモリサンプルのスコア付けに有効であり、安定性の向上に寄与するか？
• RQ2 ASERは、以前に学習されたタスクのパフォーマンスを維持する観点で、既存の経験再生手法と比較してどのように差をつけるか？
• RQ3 旧境界の保持と現在の境界の破壊という二重目的が、柔軟性の向上にどの程度寄与するか？
• RQ4 ASERはタスク境界のない多様な連続的学習ベンチマークに一般化するか？
• RQ5 敵対的摂動は、スコアリング機構の頑健性向上にどの程度寄与するか？

主な発見

• ASERは、複数の連続的学習ベンチマークにおいて、最先端の経験再生手法と比較して競争的または優れたパフォーマンスを達成する。
• 本手法は、以前に学習されたクラスの意思決定境界を効果的に保持し、途切れ忘却の低減に寄与する。
• 現在のクラス境界を破壊することで、ASERはオンライン更新中の学習効率と柔軟性を向上させる。
• 敵対的シャープレー値の使用により、メモリ内のサンプル選択がより頑健かつ情報量が多くなる。
• 安定性と柔軟性の両方をバランスさせる二重スコアリング機構は、タスク境界が存在しない環境でも有効であることが示された。
• ASERは、タスクメタデータを必要とせず、多様なデータセットに強く一般化する。