[論文レビュー] Continual learning: A comparative study on how to defy forgetting in classification tasks.

Matthias De Lange, Rahaf Aljundi+6 more|arXiv (Cornell University)|Sep 18, 2019

Domain Adaptation and Few-Shot Learning被引用数 162

ひとこと要約

本論文は、タスクインクリメンタル画像分類における継続的学習について包括的な研究を提示し、安定性と柔軟性の動的バランスを取るための新規フレームワークを導入している。Tiny ImageNetおよびiNaturalistの2つのデータセット上で、最先端の10種類の手法とベースラインを評価し、モデル容量、正則化、タスク順序が性能に顕著な影響を与えることを示した。主な知見として、記憶、計算、一般化のトレードオフに関する洞察が得られた。

ABSTRACT

Artificial neural networks thrive in solving the classification problem for a particular rigid task, where the network resembles a static entity of knowledge, acquired through generalized learning behaviour from a distinct training phase. However, endeavours to extend this knowledge without targeting the original task usually result in a catastrophic forgetting of this task. Continual learning shifts this paradigm towards a network that can continually accumulate knowledge over different tasks without the need for retraining from scratch, with methods in particular aiming to alleviate forgetting. We focus on task-incremental classification, where tasks arrive in a batch-like fashion, and are delineated by clear boundaries. Our main contributions concern 1) a taxonomy and extensive overview of the state-of-the-art, 2) a novel framework to continually determine stability-plasticity trade-off of the continual learner, 3) a comprehensive experimental comparison of 10 state-of-the-art continual learning methods and 4 baselines. We empirically scrutinize which method performs best, both on balanced Tiny Imagenet and a large-scale unbalanced iNaturalist datasets. We study the influence of model capacity, weight decay and dropout regularization, and the order in which the tasks are presented, and qualitatively compare methods in terms of required memory, computation time and storage.

研究の動機と目的

• 継続的学習における深刻な忘却を軽減するため、安定性と柔軟性のトレードオフを動的に管理するフレームワークの開発。
• タスクインクリメンタル学習における最先端の継続的学習手法の包括的分類と概要の提供。
• バランスおよび非バランスな画像分類ベンチマーク上で、10種類のSOTA継続的学習手法とベースラインの実証的評価。
• モデル容量、重み減衰、ドロップアウト、タスク順序が継続的学習の性能に与える影響の調査。
• 記憶領域使用量、計算時間、保存領域要件の観点から、手法の定性的比較。

提案手法

• 継続的学習の過程で安定性と柔軟性のトレードオフを継続的に評価・調整する新規フレームワークを提案し、適応的学習行動を可能にした。
• タスクの順序を制御した状態で、バランス型のTiny ImageNetと非バランス型のiNaturalistという2つの大規模データセットを用いた体系的な実験設定を採用した。
• 重み減衰やドロップアウトといった標準的な正則化手法を適用し、それらが忘却と精度に与える影響を分析した。
• タスク間に明確な境界を持つバッチ型のタスク増加プロトコルを採用し、現実世界の継続的学習シナリオを模擬した。
• 平均精度、忘却率、前方転送のメトリクスを含む、統一された評価プロトコルを導入し、手法間の比較を可能にした。
• モデル容量とタスク順序に関するアブレーションスタディを実施し、さまざまな設定におけるロバストネスと一般化性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 バランス型および非バランス型の画像分類ベンチマークの両方において、最高の平均精度を達成する継続的学習手法はどれか？
• RQ2 モデル容量、重み減衰、ドロップアウト正則化は、継続的学習モデルの性能と忘却行動にどのように影響するか？
• RQ3 タスク順序は、継続的学習システムの安定性と柔軟性にどのような影響を与えるか？
• RQ4 記憶領域使用量、計算時間、保存領域要件の観点から、異なる手法はどのように比較できるか？
• RQ5 動的な安定性・柔軟性トレードオフメカニズムは、静的または固定された手法と比較して、継続的学習の性能を向上させることができるか？

主な発見

• 提案されたフレームワークにより、安定性と柔軟性のトレードオフを動的に調整でき、タスク間での一般化性能が向上し、忘却が軽減された。
• Tiny ImageNetでは、効果的な正則化と高いモデル容量を持つ手法が顕著に高い平均精度を達成し、ベースライン比で最大15%の向上を示した。
• iNaturalistでは、タスク順序の影響が顕著で、特定の手法は最適でない順序でタスクを提示された場合、最大20%の性能低下を示した。
• 重み減衰とドロップアウト正則化は、特に非バランスなデータ設定において、忘却の軽減に極めて重要であることが判明した。
• 記憶領域および計算オーバーヘッドが低い手法はスケーラビリティに優れていたが、しばしば精度の低下を伴うことが示され、重要なトレードオフが浮き彫りになった。
• 前方転送は、モデル容量と正則化に強く依存しており、大きなモデルではタスク間で強い正の転送が観察された。