[論文レビュー] Towards Robust Evaluations of Continual Learning

Sebastian Farquhar, Yarin Gal|arXiv (Cornell University)|May 24, 2018

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 185

ひとこと要約

この論文は現在の継続学習評価を批判し、頑健な評価のための核心的ディサデラタを提案し、prior-focused 手法に対するバイアスを分析し、現実世界の継続学習課題をより良く反映する新しい実験デザインを導入します。

ABSTRACT

Experiments used in current continual learning research do not faithfully assess fundamental challenges of learning continually. Instead of assessing performance on challenging and representative experiment designs, recent research has focused on increased dataset difficulty, while still using flawed experiment set-ups. We examine standard evaluations and show why these evaluations make some continual learning approaches look better than they are. We introduce desiderata for continual learning evaluations and explain why their absence creates misleading comparisons. Based on our desiderata we then propose new experiment designs which we demonstrate with various continual learning approaches and datasets. Our analysis calls for a reprioritization of research effort by the community.

研究の動機と目的

• 継続学習評価の正式かつ動機づけとなる枠組みを定義する。
• prior-focused 手法に偏らせる一般的な評価の欠陥を特定し、批判する。
• データセットを横断して適用可能な頑健な継続学習ベンチマークの核心となる desiderata のセットを提案する。
• 包括的で現実的な評価体制の下で prior-focused 手法 が機能不全に陥ることを示す。
• 特定された不備に対処し、継続学習の課題をよりよく反映する新しい実験デザインを導入する。

提案手法

• 非独立同分布データ分割を伴う逐次タスク学習として継続学習を形式化する。
• prior-focused、尤度重視法、およびベイズ的解釈を用いたハイブリッド法に分類する。
• 実世界のニーズとの整合性について、Permuted MNIST、Split MNIST、二タスク転送などの一般的な評価設定を批判的に分析する。
• 評価のための5つの核心的な desiderata を提案する：タスク間の類似性、共有出力ヘッド、テスト時のタスクラベル不要、無制約な再訓練の不使用、多数のタスクへのスケーラビリティ。
• すべての desiderata を満たす評価と、サブセットの評価の下で代表的手法（VCL、EWC、VGR）を経験的に比較する。
• 時間/メモリ制約とプライバシー配慮をより適切に捉える新しい評価設計を推奨し、例示する。

実験結果

リサーチクエスチョン

• RQ1 一般的な継続学習評価は、コアとなる継続学習の課題を忠実に反映しているか？
• RQ2 prior-focused 手法は標準的な評価設定によって偏っているか、またどのような設計下で失敗するか？
• RQ3 データセットを横断して頑健な継続学習評価を導くべき核心的な desiderata は何か？
• RQ4 新しい実験設計は偏りを緩和し、現在の手法の根本的な限界を明らかにできるか？
• RQ5 時間・メモリ・プライバシーの配慮は、頑健な継続学習ベンチマークへどのように組み込まれるか？

主な発見

• 主要な prior-focused 手法の多くは、すべての核心的 desiderata を満たす評価の下で性能が低く、標準ベンチマークでは見られない盲点を露呈する。
• Permuted MNIST やマルチヘッド Split MNIST のような評価設定は、結果を prior-focused アプローチに有利にバイアスさせる可能性がある。
• 尤度重視法（例：VGR）は、包括的な desiderata ベースの設計で評価されると、より頑健である傾向がある。
• 二タスク転送や単純なデータセットは長期的な継続学習の課題を捉え切れておらず、手法の能力を過大評価している可能性がある。
• 提案された評価設計は時間と精度のトレードオフを露呈し、タスク境界検出の道具としてモデル不確実性を組み込む。