[論文レビュー] Re-evaluating Continual Learning Scenarios: A Categorization and Case for Strong Baselines

Yen-Chang Hsu, Yen‐Cheng Liu+2 more|arXiv (Cornell University)|Oct 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 206

ひとこと要約

本論文は継続的学習シナリオをカテゴリ化し、統一的な評価フレームワークを提供し、単純なベースラインがタスク間で最先端手法に匹敵し得ることを示す。さらに公平なベンチマーキングのためのPyTorchコードも公開している。

ABSTRACT

Continual learning has received a great deal of attention recently with several approaches being proposed. However, evaluations involve a diverse set of scenarios making meaningful comparison difficult. This work provides a systematic categorization of the scenarios and evaluates them within a consistent framework including strong baselines and state-of-the-art methods. The results provide an understanding of the relative difficulty of the scenarios and that simple baselines (Adagrad, L2 regularization, and naive rehearsal strategies) can surprisingly achieve similar performance to current mainstream methods. We conclude with several suggestions for creating harder evaluation scenarios and future research directions. The code is available at https://github.com/GT-RIPL/Continual-Learning-Benchmark

研究の動機と目的

• 継続的学習実験手法の体系的な分類を提供する。
• 継続的学習シナリオを生成・評価するための統一フレームワークを開発する。
• 一定のハイパーパラメータ調整予算の下で、現在の最先端手法を強力なベースラインと比較評価する。
• どのシナリオが本当に難しく、単純な手法で十分な場合を強調する。
• より難しく、現実的な継続的学習ベンチマークの方向性を提案する。

提案手法

• T1 から T2 にかけての入力/出力分布とタスクアイデンティティの差異に基づいて継続学習シナリオを分類する。
• 一貫した設定の下でタスク列を生成し手法を評価する、統一で柔軟なフレームワークを提案する。
• Split MNIST と Permuted MNIST を用いて、幅広いベースライン（Adagrad、L2、naive rehearsal）と最先端の継続学習手法を比較する。
• フェアな比較を可能にするため、手法間の総メモリオーバーヘッドを統制する。
• 正則化ベース手法と強力なベースラインの性能に対するハイパーパラメータ調整の影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 既存の継続学習シナリオは、タスクと分布シフトの点でどのように異なり、一貫してどのようにカテゴリー化できるのか。
• RQ2 単純なベースライン（例: Adagrad、L2、naive rehearsal）は、一様な評価フレームワークの下で最先端の継続学習手法に匹敵するか、あるいはそれを超えるのか。
• RQ3 増分タスク、ドメイン、クラス学習シナリオの相対的難易度についてどのような洞察が得られるか。
• RQ4 データの分割や置換の選択が、難易度の認識や比較の公正性にどのように影響するか。
• RQ5 継続学習ベンチマークの現実性と難易度を改善するための推奨は何か。

主な発見

• Adagrad と L2 正則化は、しばしばオンライン EWC を上回り、SI と同等の性能をシナリオ全体で示す。
• メモリオーバーヘッドが一致する場合、Naive rehearsal は多くの最先端手法と同等かそれ以上の性能を達成する。
• 増分タスク学習は最も容易なシナリオであり、増分クラス学習は増分ドメイン学習より難しく、置換ベースの設定は分割ベースより一般に容易である。
• 正則化ベースの手法には substantial hyperparameter tuning が必要だが、単純なベースラインは調整なしで良い性能を出せることがあり、現実世界での適用性に懸念を生じさせる。
• 多くの手法にとって Permuted MNIST のシナリオは Split MNIST より容易である傾向があり、より難易度の高いベンチマークが必要であることを示唆している。