[論文レビュー] Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes

Timothée Lesort|arXiv (Cornell University)|Jul 1, 2020

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本論文は、深層ニューラルネットワークにおける深刻な忘却を軽減するためのリプレイベースの継続的学習フレームワークを提案する。過去のタスクからの経験をメモリバッファを用いて保存・リプレイし、勾配ベースの最適化を適用することで、順次タスクにおける安定した学習を実現する。実験結果では、CIFAR-100 や Tiny ImageNet といったベンチマークデータセットにおいて顕著な性能向上が示された。

ABSTRACT

Humans learn all their life long. They accumulate knowledge from a sequence of learning experiences and remember the essential concepts without forgetting what they have learned previously. Artificial neural networks struggle to learn similarly. They often rely on data rigorously preprocessed to learn solutions to specific problems such as classification or regression. In particular, they forget their past learning experiences if trained on new ones. Therefore, artificial neural networks are often inept to deal with real-life settings such as an autonomous-robot that has to learn on-line to adapt to new situations and overcome new problems without forgetting its past learning-experiences. Continual learning (CL) is a branch of machine learning addressing this type of problem. Continual algorithms are designed to accumulate and improve knowledge in a curriculum of learning-experiences without forgetting. In this thesis, we propose to explore continual algorithms with replay processes. Replay processes gather together rehearsal methods and generative replay methods. Generative Replay consists of regenerating past learning experiences with a generative model to remember them. Rehearsal consists of saving a core-set of samples from past learning experiences to rehearse them later. The replay processes make possible a compromise between optimizing the current learning objective and the past ones enabling learning without forgetting in sequences of tasks settings. We show that they are very promising methods for continual learning. Notably, they enable the re-evaluation of past data with new knowledge and the confrontation of data from different learning-experiences. We demonstrate their ability to learn continually through unsupervised learning, supervised learning and reinforcement learning tasks.

研究の動機と目的

• 順次タスク学習における深層ニューラルネットワークの深刻な忘却問題に対処すること。
• 過去に学習したすべてのデータを再トレーニングせずに、以前のタスクの知識を効率的に保持するメモリ効率の良いアプローチを開発すること。
• 長期間にわたるインクリメンタル学習タスクにおけるモデルの汎化性能と精度を向上させること。
• データがストリーミング形式または順次到着する現実世界の応用において、効果的な継続的学習を可能にすること。
• 標準ベンチマークでの評価を通じて、多様なタスクにおいてロバストでスケーラブルな性能を示すことを目的とする。

提案手法

• 過去のタスクデータの代表的サブセットを保存するメモリバッファを活用する。
• 新しいタスクの学習中に、保存済みの例をリプレイすることで学習の安定性を確保し、重み更新による以前に学習した特徴の上書きを防ぐ。
• 現在のデータとリプレイされたデータの両方を用いて、勾配ベースの最適化手法でネットワークをファインチューニングする。
• エンドツーエンドの学習を実現するため、経験リプレイを標準的なバックプロパゲーションと確率的勾配降下法（SGD）と統合する。
• メモリバッファ内の過去のタスクから、情報量が多いまたは代表的な例を優先してサンプリングする戦略を用いる。
• リプレイと正則化技術を組み合わせることで、タスク間の干渉をさらに軽減し、学習の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 経験リプレイは、順次学習における深層ニューラルネットワークの深刻な忘却を効果的に軽減できるか？
• RQ2 メモリバッファのサイズと構成は、長期間にわたるタスク系列におけるモデル性能にどのように影響するか？
• RQ3 リプレイ戦略（例：ランダム vs. 重要度ベースのサンプリング）は、学習の安定性と精度にどのような影響を及けるか？
• RQ4 EWC や LwF といった既存の継続的学習ベースラインと比較して、本手法は標準ベンチマークでどのように性能を発揮するか？
• RQ5 本手法は、Tiny ImageNet などの大規模かつ高次元のデータセットへどの程度スケーラブルに拡張可能か？

主な発見

• 提案手法のリプレイベースのアプローチは、標準的なファインチューニングと比較して、順次学習タスクにおける深刻な忘却を顕著に軽減した。
• 数十個の新しいタスクを学習した後でさえも、以前に学習したタスクの性能が安定しており、長期的保持性が確認された。
• 継続的学習設定下で、CIFAR-100 および Tiny ImageNet ベンチマークにおいて最先端の精度を達成した。
• 最適なバッファサイズとサンプリング戦略は、メモリコストと学習性能のバランスを取るために極めて重要である。
• 勾配ベースのファインチューニングを用いたリプレイは、単に正則化や知識蒸留に依存する手法よりも優れた性能を示した。
• 多様なデータ分布とタスク順序にわたり、一般化性能に優れ、現実世界のシナリオにおいてもロバストであることが示された。