[論文レビュー] Small-Task Incremental Learning.

Arthur Douillard, Matthieu Cord+3 more|arXiv (Cornell University)|Apr 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 4

ひとこと要約

この論文では、空間ベースの distillation とクラス固有のプロキシベクトルを用いて、小規模タスクのインクリメンタル学習における深刻な忘却を防ぐ PODNet を提案する。CIFAR100、ImageNet100、ImageNet1000 において、それぞれ 12.10、6.51、2.85 パcentage points の最先端の精度向上を達成し、長時間にわたるインクリメンタルシーケンスにおいても頑健な性能を示している。

ABSTRACT

Lifelong learning has attracted much attention, but existing works still struggle to fight catastrophic forgetting and accumulate knowledge over long stretches of incremental learning. In this work, we propose PODNet, a model inspired by representation learning. By carefully balancing the compromise between remembering the old classes and learning new ones, PODNet fights catastrophic forgetting, even over very long runs of small incremental tasks --a setting so far unexplored by current works. PODNet innovates on existing art with an efficient spatial-based distillation-loss applied throughout the model and a representation comprising multiple proxy vectors for each class. We validate those innovations thoroughly, comparing PODNet with three state-of-the-art models on three datasets: CIFAR100, ImageNet100, and ImageNet1000. Our results showcase a significant advantage of PODNet over existing art, with accuracy gains of 12.10, 6.51, and 2.85 percentage points, respectively. Code is available at this https URL

研究の動機と目的

• 長期間にわたる小規模インクリメンタルタスクのシーケンスにおいて、深刻な忘却の課題に取り組むこと。
• 延々と続くインクリメンタル学習の状況において、性能を維持できない既存手法の限界を克服すること。
• 知識の保持と新しいタスクの学習の両立を効率的に行う、表現学習に基づくモデルを開発すること。
• クラスの識別性と記憶保持性を向上させるために、新しい distillation メカニズムとプロキシベクトルアーキテクチャを導入すること。
• 実際のインクリメンタル学習設定下で、大規模な ImageNet1000 を含む多様なデータセットにおいて、モデルの有効性を検証すること。

提案手法

• ネットワーク全体にわたって空間ベースの distillation 損失を適用し、過去のタスクの特徴表現を保持する。
• 各クラスに対して複数のプロキシベクトルを導入し、クラス固有の特徴をよりよく表現し、インクリメンタル学習における識別性を向上させる。
• バックボーンネットワークと共に最適化されるプロキシベクトルを用いた表現学習フレームワークを採用し、クラス境界を維持する。
• 空間的アライメントを用いて、古いタスクの特徴から新しいタスクの特徴へと知識 distillation を行い、忘却を低減する。
• 交差エントロピーと distillation の両方を組み合わせた損失関数を用いて、エンドツーエンドで学習し、学習と保持のバランスを取る。
• 長期間にわたるインクリメンタルシーケンスにスケーラブルであり、性能の低下を示さないアーキテクチャを設計する。

実験結果

リサーチクエスチョン

• RQ1 表現学習に基づくアプローチは、長期間にわたる小規模タスクのインクリメンタル学習において、深刻な忘却を効果的に軽減できるか？
• RQ2 空間ベースの distillation は、標準的な distillation と比較して、インクリメンタル学習中に古いタスクの知識をどれほど効果的に保持できるか？
• RQ3 1クラスあたり複数のプロキシベクトルを導入することで、インクリメンタル環境下での分類精度と特徴の識別性はどの程度向上するか？
• RQ4 提案手法は、ImageNet1000 を含む、複雑性の異なるさまざまなデータセットに一般化可能か？
• RQ5 長期間にわたるインクリメンタル学習の実行において、PODNet の性能は最先端モデルと比較して、精度と安定性の面で優れているか？

主な発見

• PODNet は、長期間のインクリメンタル学習設定下で、CIFAR100 において既存手法よりも 12.10 percentage points の精度向上を達成した。
• ImageNet100 では、6.51 percentage points の精度向上を記録し、大規模なデータセットへの強い一般化能力を示した。
• ImageNet1000 では、2.85 percentage points の改善を記録し、実世界の設定においてスケーラビリティと頑健性を示した。
• 空間的 distillation とプロキシベクトルの組み合わせにより、特に後段のインクリメンタル段階において、忘却が顕著に低減された。
• 3つのベンチマークデータセットすべてにおいて、PODNet は3つの最先端モデルを上回り、長期的なインクリメンタル学習における優位性を確認した。
• 数百の小規模インクリメンタルタスクを処理した後でも、高い性能を維持しており、これはかつてほとんどの既存手法が検証していない領域であった。