[論文レビュー] Three scenarios for continual learning

Gido M. van de Ven, Andreas S. Tolias|Lirias (KU Leuven)|Apr 15, 2019

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 556

ひとこと要約

この論文は、テスト時のタスク識別が提供されるかどうか、また推定される必要があるかどうかに基づいて3つの継続的学習シナリオを定義し、split MNISTおよびpermuted MNISTを用いてこれらのシナリオ間で方法を広範に実証比較しています。

ABSTRACT

Standard artificial neural networks suffer from the well-known issue of catastrophic forgetting, making continual or lifelong learning difficult for machine learning. In recent years, numerous methods have been proposed for continual learning, but due to differences in evaluation protocols it is difficult to directly compare their performance. To enable more structured comparisons, we describe three continual learning scenarios based on whether at test time task identity is provided and--in case it is not--whether it must be inferred. Any sequence of well-defined tasks can be performed according to each scenario. Using the split and permuted MNIST task protocols, for each scenario we carry out an extensive comparison of recently proposed continual learning methods. We demonstrate substantial differences between the three scenarios in terms of difficulty and in terms of how efficient different methods are. In particular, when task identity must be inferred (i.e., class incremental learning), we find that regularization-based approaches (e.g., elastic weight consolidation) fail and that replaying representations of previous experiences seems required for solving this scenario.

研究の動機と目的

• テスト時のタスク識別が難易度に与える影響を明確にすることで、継続的学習の標準化された評価を動機づける。
• 難易度が増す3つの継続的学習シナリオを導入する（Task-IL、Domain-IL、Class-IL）。
• これらのシナリオに渡って代表的な継続学習手法の包括的な実証比較を提供する。
• タスク識別を推定する必要がある場合（Class-IL）にリプレイベースのアプローチが重要であることを示す。

提案手法

• テスト時のタスク識別の可用性と推定要件に基づいて3つのシナリオを定義する。
• 各シナリオで複数の継続学習手法（XdG、EWC、Online EWC、SI、LwF、DGR、DGR+distill、iCaRL）を比較する。
• 分割MNISTには2つの隠れ層を、分割/置換MNISTには400/1000ユニットを用いる1つの一貫したネットワークアーキテクチャを使用し、シナリオごとにタスク固有または共有の出力構成を取る。
• 明確に定義されたタスク境界を伴うsplit MNISTおよびpermuted MNISTタスクプロトコルを採用する。
• 標準化された学習設定（Adamオプティマイザ、指定された反復回数、メモリ予算）で性能を評価し、20のシードに対する mean ± SEM を報告する。

実験結果

リサーチクエスチョン

• RQ1 共通の手法を評価する際に、3つの継続学習シナリオは難易度がどのように異なるか。
• RQ2 タスク識別を推定する必要がある場合、正則化ベースのアプローチで足りるか、それともリプレイベースの戦略が必要な能力を提供するのか。
• RQ3 シナリオ間でsplit MNIST（二タスク）とpermuted MNIST（十タスク）プロトコルの性能はどのように変化するか。
• RQ4 タスク境界とリプレイ機構は、多様なタスク列に跨ってスケーラブルな継続学習を可能にするか。

主な発見

• Task-ILは最も容易なシナリオであり、テスト時にタスク識別が提供される場合にはほとんどの手法が良好に機能する。
• Domain-ILとClass-ILははるかに難しく、正則化ベースの手法（EWC、Online EWC、SI）は苦戦し、Class-ILでは機能しない。
• リプレイベースの手法（LwF、DGR、DGR+distill、iCaRL）はDomain-ILとClass-ILで高い性能を発揮し、分割MNISTタスクでの精度が90%以上を超えることが多い。
• LwFはsplit MNISTでは有効だが、入力分布の差異のためpermuted MNISTでは不利になることがある; generative replay (DGR)と蒸留の変種は、しばしばシナリオを横断して堅牢な性能を提供する。
• iCaRLは例示が利用可能な場合に高い性能を示し、継続学習における exemplar replay の価値を示している。
• Across tasks, replay-based approaches consistently outperform regularization-only strategies when task identity must be inferred.