[論文レビュー] Learning with Long-term Remembering: Following the Lead of Mixed Stochastic Gradient.

Yunhui Guo, Mingrui Liu+2 more|arXiv (Cornell University)|Sep 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 6

ひとこと要約

本稿では、過去のタスクの小さなエピソード的記憶からの勾配と現在のタスクの勾配をバランスさせることで、深層ニューラルネットワークにおける深刻な忘却の問題を軽減する、新しい生涯学習アルゴリズムMEGAを提案する。混合確率的勾配手法を用いて古いタスクの勾配を統合することで、4つの標準ベンチマークにおいて最大18%の誤差低減を達成し、従来手法を著しく上回る性能を示す。

ABSTRACT

Current deep neural networks can achieve remarkable performance on a single task. However, when the deep neural network is continually trained on a sequence of tasks, it seems to gradually forget the previous learned knowledge. This phenomenon is referred to as catastrophic forgetting and motivates the field called lifelong learning. The central question in lifelong learning is how to enable deep neural networks to maintain performance on old tasks while learning a new this http URL this paper, we introduce a novel and effective lifelong learning algorithm, calledMixEd stochastic GrAdient (MEGA), which allows deep neural networks to ac-quire the ability of retaining performance on old tasks while learning new tasks.MEGA modulates the balance between old tasks and the new task by integrating the current gradient with the gradient computed on a small reference episodic memory. Extensive experimental results show that the proposed MEGA algorithm significantly advances the state-of-the-art on all four commonly used life-long learning benchmarks, reducing the error by up to 18%.

研究の動機と目的

• 新しいタスクの学習時に以前に学習したタスクの性能が低下する、継続的深層学習における深刻な忘却の課題に対処すること。
• 深層ニューラルネットワークが新しいタスクを学習する際、古いタスクの性能を維持できる手法を開発すること。
• 効果的な勾配調整メカニズムを通じて、生涯学習シナリオにおける一般化性能と安定性を向上させること。
• 最小限の計算オーバーヘッドで、標準的な生涯学習ベンチマークで最先端の性能を達成すること。

提案手法

• 現在のタスクの勾配と、過去データの小さな固定エピソード的記憶から計算された勾配を組み合わせる、混合確率的勾配アルゴリズムであるMEGAを導入する。
• 現在のタスクの勾配とエピソード的記憶からの参照勾配を重み付きで組み合わせ、モデルパラメータを更新する。
• 継続的な正則化のための参照勾配を計算するために、過去データの小さな代表的記憶を維持する。
• 学習可能なまたは固定の重み付け方式を用いて、古いタスクと新しいタスクの勾配の影響を動的にバランスさせ、学習の安定性を確保する。
• 各訓練ステップにおいて勾配調整を適用することで、すべての過去データを再び入力する必要なく、以前のタスクからの知識を保持する。
• 確率的最適化の原則を活用し、標準的な深層学習フレームワークとのスケーラビリティと互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 完全な過去データの再入力が必要ない状況で、勾配ベースの手法が深刻な忘却を効果的に軽減できるか？
• RQ2 小さなエピソード的記憶からの勾配統合が、古いタスクおよび新しいタスクの両方の性能にどのように寄与するか？
• RQ3 MEGAは、標準ベンチマークにおいて、既存の生涯学習手法をどの程度上回るか？
• RQ4 安定的な継続的学習を実現するための、現在のタスク勾配と記憶ベースの勾配の最適なバランスは何か？
• RQ5 MEGAは、多様で逐次的なタスクシーケンスにおいて、強力な一般化性能を維持できるか？

主な発見

• MEGAは、4つの一般的に用いられる生涯学習ベンチマークすべてで最先端の性能を達成し、既存手法に対する一貫した改善を示している。
• 提案手法は、従来手法と比較して最大18%の誤差低減を達成しており、深刻な忘却の軽減効果が顕著に表れている。
• MEGAは、新しいタスクを学習する際も、以前に学習したタスクの性能を高い水準で維持しており、強力な知識保持能力を示している。
• エピソード的記憶からの勾配統合により、逐次タスクにおけるより安定的かつ正確な学習ダイナミクスが実現されている。
• 本手法は、完全な再入力ではなく、小さな参照記憶に依存するため、メモリオーバーヘッドが最小限であり、顕著な性能向上を達成している。
• 結果から、エピソード的記憶を用いた勾配調整は、深層ニューラルネットワークにおける生涯学習のスケーラブルで効果的な戦略であることが確認された。