[論文レビュー] Few-Shot Self Reminder to Overcome Catastrophic Forgetting

Junfeng Wen, Yanshuai Cao+1 more|arXiv (Cornell University)|Dec 3, 2018

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 16

ひとこと要約

Few-Shot Self Reminder (FSR) は、古いタスクのサンプルを少量のエピソードメモリに保持し、そのログィットを一致させる手法として、 catastrophic forgetting を効果的に軽減する。EWC の 5% のメモリコストで優れた知識保持を達成し、クラスあたり 1 つのサンプルしか記憶しない状況ですら、先行手法を上回る性能を発揮する。

ABSTRACT

Deep neural networks are known to suffer the catastrophic forgetting problem, where they tend to forget the knowledge from the previous tasks when sequentially learning new tasks. Such failure hinders the application of deep learning based vision system in continual learning settings. In this work, we present a simple yet surprisingly effective way of preventing catastrophic forgetting. Our method, called Few-shot Self Reminder (FSR), regularizes the neural net from changing its learned behaviour by performing logit matching on selected samples kept in episodic memory from the old tasks. Surprisingly, this simplistic approach only requires to retrain a small amount of data in order to outperform previous methods in knowledge retention. We demonstrate the superiority of our method to the previous ones in two different continual learning settings on popular benchmarks, as well as a new continual learning problem where tasks are designed to be more dissimilar.

研究の動機と目的

• 新しいタスクを学習する際、深層ニューラルネットワークが過去のタスクの性能を急速に失うという catastrophic forgetting を解決すること。
• EWC のようなパラメータベースの正則化手法の限界を克服すること。これらの手法は大規模なモデルを保存する必要があり、高いメモリコストを伴う。
• クラスあたり数サンプル程度の小さなエピソードメモリでも、忘却を顕著に軽減できることを示し、複雑な手法が必ずしも必要ではないという仮定に疑問を呈すること。
• 低メモリ環境下で、パラメータレベルの制約や知識蒸留よりも、関数レベルの正則化（ログィット一致）がより効果的であることを示すこと。
• 非線形変換を施した MNIST を用いた、タスク間の類似度が低い状況を想定した新しいベンチマークを導入すること。

提案手法

• FSR は、過去のタスクの各クラスから 1 つまたは数個のサンプルと、それらのモデル予測ログィットを少量のエピソードメモリに保持する。
• 新しいタスクの学習中に、FSR は、古いタスクのサンプルに対するモデル出力ログィットと、保存済みログィットとの間で L2 損失を最小化することでログィット一致を実行する。
• 正則化はネットワークのパラメータではなく、その関数的挙動に直接適用されるため、最小限のストレージで効果的な知識保持が可能になる。
• 標準的な最適化手法（例：Adam）を用い、複雑なアーキテクチャの変更やハイパーパramータのチューニングを必要としない。
• 標準的な学習プロトコルと互換性があり、クラスインクリメンタルおよびドメインインクリメンタルな継続的学習の両方の設定に適用可能である。
• 予測されたラベルと保存済みの真のラベルの間の KL 発散を追加することで、性能をさらに向上させることを検討している。

実験結果

リサーチクエスチョン

• RQ1 クラスあたり数サンプル程度の最小限のエピソードメモリが、継続的学習における catastrophic forgetting を顕著に軽減できるか？
• RQ2 低メモリ環境下で、関数レベルの正則化（ログィット一致）がパラメータレベルの正則化（例：EWC）や知識蒸留を上回る性能を発揮するか？
• RQ3 メモリ予算やタスクの類似度が変化する状況下で、FSR は HAT や iCaRL、EWC といった最先端手法と比較してどのように性能を発揮するか？
• RQ4 非線形変換を施した MNIST のような、タスク間の類似度が低い状況でも、FSR は高い性能を維持できるか？
• RQ5 ログィット一致を用いる場合、他の正則化手法と比較して、メモリ効率と性能のトレードオフが生じるか？

主な発見

• 5 パーミューテッド MNIST タスクにおいて、FSR は EWC と同等の性能を発揮するが、EWC の 5% のメモリコストにとどまる。
• クラスあたり 1 サンプルのみを記憶しても、FSR は忘却をゆっくりで持続的なものに抑え、catastrophic forgetting を完全に回避する。
• CIFAR100 インクリメンタル学習ベンチマークにおいて、ログィット一致を用いた FSR は、平均的忘却率 ρ の観点で HAT や EWC を上回る。
• タスク間で顕著な知識の共有が見られる状況（例：CIFAR100）では、FSR は、特徴の再利用をブロックする注目メカニズムにより性能を発揮できない HAT を上回る。
• すべてのメモリサイズにおいて、ログィット一致は蒸留や iCaRL を一貫して上回り、特に低メモリ予算での性能差が顕著に現れる。
• 予測ラベルと真のラベルの間の KL 発散を追加することで、FSR の性能がさらに向上し、ハイブリッド正則化の可能性が示唆される。