[論文レビュー] Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors

Zhuoyun Li, Changhong Zhong+3 more|arXiv (Cornell University)|Apr 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 21

ひとこと要約

本論文は、学習済みの特徴抽出器を統合的に融合させることで、初期に学習した知識を保持する continual learning フレームワークを提案する。可学習特徴変換と動的プルーニングを用いてモデルサイズを制御する。本手法は、特に初期に学習したクラスにおける劇的 forgetting の顕著な低減を実現し、クラスインクリメンタル学習ベンチマークで最先端の性能を達成する。

ABSTRACT

Continual learning of new knowledge over time is one desirable capability for intelligent systems to recognize more and more classes of objects. Without or with very limited amount of old data stored, an intelligent system often catastrophically forgets previously learned old knowledge when learning new knowledge. Recently, various approaches have been proposed to alleviate the catastrophic forgetting issue. However, old knowledge learned earlier is commonly less preserved than that learned more recently. In order to reduce the forgetting of particularly earlier learned old knowledge and improve the overall continual learning performance, we propose a simple yet effective fusion mechanism by including all the previously learned feature extractors into the intelligent model. In addition, a new feature extractor is included to the model when learning a new set of classes each time, and a feature extractor pruning is also applied to prevent the whole model size from growing rapidly. Experiments on multiple classification tasks show that the proposed approach can effectively reduce the forgetting of old knowledge, achieving state-of-the-art continual learning performance.

研究の動機と目的

• 継続的学習における catastrophic forgetting、特に初期ラウンドで学習した知識の不均衡な消失を是正すること。
• 最新のモデルだけでなく、すべての過去のモデルからの知識を活用することで、継続的学習全体の性能を向上させること。
• 動的プルーニングにより、特徴抽出器の追加に伴うモデル効率の維持を図ること。
• 複数の過去の特徴抽出器を統合することは、単一モデルからの知識 distillation よりも効果的であるかどうかを検証すること。

提案手法

• 知識統合メカニズムは、すべての事前に訓練された特徴抽出器からの特徴表現を統合し、それぞれに異なる特徴空間を補正するための可学習変換層を追加する。
• 統合された特徴は、新しいクラスの学習中に共有分類器ヘッドへの入力として使用され、すべての過去の学習ラウンドからの知識にアクセス可能になる。
• 各新しいモデルの訓練後、特徴抽出器のプルーニング戦略を適用し、カーネル数とパラメータ数をそれぞれ 50–60% と 70% 減少させ、モデル成長を制限する。
• 訓練中はすべての過去の特徴抽出器を固定化することで、学習済みの知識を保持し、干渉を防ぐ。
• CIFAR-100 および他のデータセットを用いた標準的なクラスインクリメンタル学習プロトコルに従い、ResNet および他の CNN バックボーンを用いてフレームワークを評価する。
• アブレーションスタディでは、統合、特徴変換、プルーニングの各効果を比較し、各コンponents の貢献を検証する。

実験結果

リサーチクエスチョン

• RQ1 すべての過去の特徴抽出器からの知識統合は、最新のモデルのみに依存する場合と比較して、初期に学習したクラスの forgetting をより効果的に低減するか？
• RQ2 複数の過去の特徴抽出器を含めることで、単一モデルからの distillation と比較して継続的学習性能が向上するか？
• RQ3 提案されたプルーニング機構は、性能を損なわせることなくモデルサイズを効果的に制御できるか？
• RQ4 性能向上はモデル容量の増加によるものか、それとも固定された特徴抽出器から得られる保存された知識によるものか？

主な発見

• 10 回の学習ラウンド後、CIFAR-100 で 70.5% の平均精度を達成し、強力なベースラインを上回り、新たな最先端性能を樹立した。
• すべての過去の特徴抽出器の統合により、初期に学習したクラスの forgetting が低減され、最新モデルに依存する手法と比較して第 1 ラウンドで学習したクラスで 10–15% の性能向上が確認された。
• アブレーションスタディにより、統合、特徴変換、プルーニングのすべてのコンponents が不可欠であることが確認され、完全な手法では個々の古いクラスで 60.5% の精度を達成したのに対し、どのコンponents も使用しない場合では 50.7% に低下した。
• 1 つの過去の特徴抽出器を削除すると、対応するクラスセットでの性能に顕著な低下が見られ、各抽出器が知識保持に寄与していることを裏付けた。
• 古い特徴抽出器のファインチューニングは性能を低下させたため、性能向上は固定された抽出器から得られる保存された知識によるものであり、モデル容量の増加によるものではないことが証明された。
• 複数の過去モデルを用いた単純な distillation 策略は、提案された統合メカニズムよりも性能が悪く、特徴統合が直接的な distillation よりも優れていることを示した。