[論文レビュー] Gradient Based Memory Editing for Task-Free Continual Learning

Xisen Jin, Junyi Du+1 more|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 16

ひとこと要約

本稿では、タスク境界が明示されていない継続的学習の文脈において、勾配に基づくメモリ編集手法を提案する。メモリ例は勾配降下法を用いて更新され、将来の忘却を軽減する。この手法は、既存のベースラインと組み合わせることで5つのベンチマークで性能向上を示し、タスク境界の情報なしに効果的な記憶保持を実現する。

ABSTRACT

Prior work on continual learning often operate in a “task-aware” manner, by assuming that the task boundaries and identifies of the data examples are known at all times. While in practice, it is rarely the case that such information are exposed to the methods (i.e., thus called “task-free”)–a setting that is relatively underexplored. Recent attempts on task-free continual learning build on previous memory replay methods and focus on developing memory construction and replay strategies such that model performance over previously seen examples can be best retained. In this paper, looking from a complementary angle, we propose a novel approach to “edit” memory examples so that the edited memory can better retain past performance when they are replayed. We use gradient updates to edit memory examples so that they are more likely to be “forgotten” in the future. Experiments on five benchmark datasets show the proposed method can be seamlessly combined with baselines to significantly improve the performance.

研究の動機と目的

• タスクの識別子が不明である現実的でタスクフリーな継続的学習の課題に対処すること。
• タスクに依存する仮定に依存する既存のメモリリプレイ手法の限界を克服すること。
• 過去に学習したデータの性能を向上させるために、事前にメモリ例を変更して将来の忘却を軽減すること。
• 既存の継続的学習ベースラインとスムーズに統合され、性能を向上させることのできる手法を開発すること。

提案手法

• 将来の学習中に忘れられにくくなるように、保存されたメモリ例を更新する勾配ベースの編集メカニズムを提案する。
• メモリ例の勾配更新を用いて、将来の悲観的忘却に寄与する要因を最小化する。
• メモリ編集プロセスを、再現（リハーサル）中に適用する微分可能最適化ステップとして定式化する。
• 主な学習ループを変更せずに、標準的なリプレイベースの継続的学習フレームワークに編集済みメモリを統合する。
• 現在のタスクの更新から得られるモデル勾配を、過去のメモリサンプルの修正をガイドする。
• 編集済みのメモリ例が、将来のタスク干渉に対してより代表的かつ強固になるように保証する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのメモリ例編集は、タスクフリーな継続的学習における記憶保持を向上させることができるか？
• RQ2 タスク境界情報なしに、この手法は悲観的忘却をどれほど効果的に軽減できるか？
• RQ3 既存の継続的学習ベースラインと組み合わせた場合、この手法はどの程度性能を向上させられるか？
• RQ4 提案された編集戦略は、多様な継続的学習ベンチマークに一般化可能か？

主な発見

• 提案された勾配ベースのメモリ編集手法は、タスクフリーな継続的学習設定において5つのベンチマークデータセットで顕著な性能向上を達成した。
• 既存のベースラインと組み合わせた場合、一貫した向上が得られ、高い互換性と有効性を示した。
• メモリ編集により、将来の忘却が軽減され、保存された例がその後の学習中に悲観的忘却にさらされにくくなった。
• このような能動的編集を含まない標準的なメモリリプレイ手法よりも優れた性能を示した。
• 多様なデータ分布や継続的学習シナリオにおいても改善が観察されたことから、強固な性能が裏付けられた。
• 訓練中にタスク識別子の情報が不要であるにもかかわらず、過去の知識の記憶保持が向上した。