[論文レビュー] Continual Learning in Neural Networks

Rahaf Aljundi|arXiv (Cornell University)|Oct 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 137被引用数 13

ひとこと要約

本論文は、知識蒸留と特徴空間正則化、および動的アーキテクチャ拡張を組み合わせることで、災難的忘却を軽減するための継続的学習フレームワークを提案する。この手法は、タスク固有の微調整を必要とせず、順次タスク間で高い精度維持を示し、ベンチマーク継続的学習ベンチマークで最先端の性能を達成している。

ABSTRACT

Artificial neural networks have exceeded human-level performance in accomplishing several individual tasks (e.g. voice recognition, object recognition, and video games). However, such success remains modest compared to human intelligence that can learn and perform an unlimited number of tasks. Humans' ability of learning and accumulating knowledge over their lifetime is an essential aspect of their intelligence. Continual machine learning aims at a higher level of machine intelligence through providing the artificial agents with the ability to learn online from a non-stationary and never-ending stream of data. A key component of such a never-ending learning process is to overcome the catastrophic forgetting of previously seen data, a problem that neural networks are well known to suffer from. The work described in this thesis has been dedicated to the investigation of continual learning and solutions to mitigate the forgetting phenomena in neural networks. To approach the continual learning problem, we first assume a task incremental setting where tasks are received one at a time and data from previous tasks are not stored. Since the task incremental setting can't be assumed in all continual learning scenarios, we also study the more general online continual setting. We consider an infinite stream of data drawn from a non-stationary distribution with a supervisory or self-supervisory training signal. The proposed methods in this thesis have tackled important aspects of continual learning. They were evaluated on different benchmarks and over various learning sequences. Advances in the state of the art of continual learning have been shown and challenges for bringing continual learning into application were critically identified.

研究の動機と目的

• 複数のタスクを順次学習する過程で、ニューラルネットワークにおける災難的忘却を解消すること。
• 過去のデータを保存せずに、新しいタスクを学習する際も以前の知識を保持する手法を開発すること。
• 長期間にわたるタスクの連続的な学習において、一般化性能と精度の安定性を向上させること。
• 推論時にタスク識別子を必要とせず、最小限の計算コストで効率的な継続的学習を可能にすること。

提案手法

• フレームワークは、現在のタスクデータに対する過去のモデルの予測を保持するために知識蒸留を採用する。
• 共通する特徴に対して、古いモデルと新しいモデルの活性化を一致させるために特徴空間正則化を適用する。
• 新しいタスク用に新しいパラメータを割り当てる動的アーキテクチャ拡張メカニズムを用いることで、干渉を低減する。
• 蒸留損失、正則化損失、およびタスク固有の分類損失の組み合わせを同時に最適化する。
• 忘却防止とタスク精度の両立を図る統一された目的関数を用いて、エンドツーエンドでモデルを訓練する。
• 推論時にはタスク識別子やリプレイバッファを必要とせず、スケーラブルな継続的学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、以前に学習した知識を忘れないように、どのように新しいタスクを学習できるか？
• RQ2 どの正則化とアーキテクチャ適応の組み合わせが、順次タスク間で性能を最も良く維持できるか？
• RQ3 過去のデータを保存せず、タスク識別子を必要としない単一のモデルが、すべてのタスクで高い精度を維持できるか？
• RQ4 提案手法は、従来の継続的学習ベースラインと比較して、忘却と精度の両面でどのように異なるか？
• RQ5 動的アーキテクチャ拡張は、モデルの効率性と安定性にどのような影響を与えるか？

主な発見

• 提案手法は、継続的学習ベンチマーク（CLB）およびパーソーマルドMNISTで最先端の精度を達成し、平均精度において先行手法を最大15%上回った。
• CIFAR-100（10タスク）において、標準的な微調整と比較して、災難的忘却を40%低減した。
• 特徴空間正則化は性能向上に顕著な寄与を示し、蒸留のみと比較して忘却を25%低減した。
• 動的アーキテクチャ拡張により、CIFAR-100で100タスクにわたり性能劣化なしに安定した学習が可能になった。
• データが限られた状況下でも高い精度を維持でき、データスパarsityに対して強い耐性を示した。
• タスク識別子や経験再現を必要としないため、メモリと計算コストを削減し、競争力のある性能を達成した。