[論文レビュー] Improved Schemes for Episodic Memory-based Lifelong Learning

Yunhui Guo, Mingrui Liu+2 more|arXiv (Cornell University)|Sep 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 27

ひとこと要約

本稿では、GEMおよびA-GEMを統合的かつ改善する新たなエピソード記憶ベースの継続的学習手法 MEGA-i および MEGA-ii を提案する。本手法は、適応的損失バランスと勾配回転を導入することで、深刻な忘れを顕著に軽減し、Permuted MNIST や Split CIFAR-100 といった標準ベンチマークで最大18%の誤差低減を達成し、最先端の性能を実現した。

ABSTRACT

Current deep neural networks can achieve remarkable performance on a single task. However, when the deep neural network is continually trained on a sequence of tasks, it seems to gradually forget the previous learned knowledge. This phenomenon is referred to as extit{catastrophic forgetting} and motivates the field called lifelong learning. Recently, episodic memory based approaches such as GEM \cite{lopez2017gradient} and A-GEM \cite{chaudhry2018efficient} have shown remarkable performance. In this paper, we provide the first unified view of episodic memory based approaches from an optimization's perspective. This view leads to two improved schemes for episodic memory based lifelong learning, called MEGA-I and MEGA-II. MEGA-I and MEGA-II modulate the balance between old tasks and the new task by integrating the current gradient with the gradient computed on the episodic memory. Notably, we show that GEM and A-GEM are degenerate cases of MEGA-I and MEGA-II which consistently put the same emphasis on the current task, regardless of how the loss changes over time. Our proposed schemes address this issue by using novel loss-balancing updating rules, which drastically improve the performance over GEM and A-GEM. Extensive experimental results show that the proposed schemes significantly advance the state-of-the-art on four commonly used lifelong learning benchmarks, reducing the error by up to 18\%.

研究の動機と目的

• 1つの最適化フレームワークの下でエピソード記憶ベースのアプローチを統合し、継続的学習における深刻な忘れを解消すること。
• GEM や A-GEM といった従来手法が、損失ダイナミクスにかかわらず常に現在のタスクに固定された重みを適用するという限界を克服すること。
• 動的損失バランスと勾配調製を用いて、過去のタスクと新しいタスクの学習のバランスをとる適応的スキームを開発すること。
• 特に1タスクあたりのデータ量が少ない状況下でも、標準的な継続的学習ベンチマークでの性能を向上させること。
• 複合最適化目的関数を通じて、継続的学習における改善された勾配更新の理論的・実験的基盤を提供すること。

提案手法

• 継続的学習を、現在のタスクと過去のタスクの両方の目的関数を含む複合最適化問題として定式化する。
• 現在のタスク勾配とエピソード記憶の例からの勾配を組み合わせることで、混合確率的勾配（MEGA）を導入する。
• MEGA-i を提案し、過去のタスクと新しいタスクの勾配のバランスを、損失に基づく適応的重み付けで制御する。
• MEGA-ii を提案し、エピソード記憶の勾配と損失情報に基づいて現在の勾配を回転させることで、性能をさらに向上させる。
• 損失の時間的変化に基づき、過去のタスクへの注力の動的調整を行う損失バランスルールを用いる。
• 1ステップの確率的勾配降下法を用いて、MEGA更新ルールに基づく両手法を実装し、逐次的なタスクでの効率的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エピソード記憶ベースの継続的学習手法を、1つの最適化フレームワークの下でどのように統合できるか？
• RQ2 GEM や A-GEM といった従来手法が、損失ダイナミクスの変化に敏感な状況で性能を発揮できない理由は何か？ また、なぜそれらは常に現在のタスクに固定された重みを適用するのか？
• RQ3 適応的損失バランスと勾配回転は、継続的学習における一般化性能の向上と忘れの低減に寄与するか？
• RQ4 MEGA-i および MEGA-ii は、さまざまなベンチマークにおいて GEM や A-GEM と比べて、正確性と頑健性の点でどのように異なるか？
• RQ5 1タスクあたりの例数が限られている状況下で、MEGA-i および MEGA-ii の性能にどのような影響があるか？ なぜ MEGA-ii はこのような状況で MEGA-i を上回るのか？

主な発見

• MEGA-ii は、Permuted MNIST で平均 91.21% ± 0.10 の精度を達成し、前回の最先端手法比で2%の向上を示した。
• Split CIFAR-100 では、66.12% ± 1.93 の精度を達成し、前回の最先端手法比で5%の向上を示した。
• 1タスクあたりの例数が限られる状況では、MEGA-ii が MEGA-i を上回る性能を示した。これは、適応的勾配回転と損失バランス機構のおかげである。
• 4つの標準的な継続的学習ベンチマークにおいて、ベースライン手法と比較して、誤差を最大18%まで低減した。
• MEGA-i および MEGA-ii は、すべてのデータセットで A-GEM を上回った。特に、基準損失閾値を用いた状況でも、MEGA-ii は一貫した性能向上を示した。
• アブレーションスタディの結果、勾配回転と適応的損失バランスの両方が、性能向上に顕著な貢献をしていることが確認された。