[論文レビュー] A Comprehensive Study of Class Incremental Learning Algorithms for Visual Tasks

Eden Belouadah, Adrian Popescu+1 more|arXiv (Cornell University)|Nov 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 102被引用数 199

ひとこと要約

本論文は固定サイズのクラスインクリメンタル学習法を分析し、統一的なフレームワークを提案し、設定を跨いでも単一のアルゴリズムが支配的であるとは示さず、メモリ容量とインクリメンタル状態サイズが性能に大きく影響することを示している。

ABSTRACT

The ability of artificial agents to increment their capabilities when confronted with new data is an open challenge in artificial intelligence. The main challenge faced in such cases is catastrophic forgetting, i.e., the tendency of neural networks to underfit past data when new ones are ingested. A first group of approaches tackles forgetting by increasing deep model capacity to accommodate new knowledge. A second type of approaches fix the deep model size and introduce a mechanism whose objective is to ensure a good compromise between stability and plasticity of the model. While the first type of algorithms were compared thoroughly, this is not the case for methods which exploit a fixed size model. Here, we focus on the latter, place them in a common conceptual and experimental framework and propose the following contributions: (1) define six desirable properties of incremental learning algorithms and analyze them according to these properties, (2) introduce a unified formalization of the class-incremental learning problem, (3) propose a common evaluation framework which is more thorough than existing ones in terms of number of datasets, size of datasets, size of bounded memory and number of incremental states, (4) investigate the usefulness of herding for past exemplars selection, (5) provide experimental evidence that it is possible to obtain competitive performance without the use of knowledge distillation to tackle catastrophic forgetting and (6) facilitate reproducibility by integrating all tested methods in a common open-source repository. The main experimental finding is that none of the existing algorithms achieves the best results in all evaluated settings. Important differences arise notably if a bounded memory of past classes is allowed or not.

研究の動機と目的

• インクリメンタル学習アルゴリズムの望ましい特性を6つ定義し、それらを分析する。
• クラスインクリメンタル学習の統一的な形式的定式化を提供する。
• さまざまなメモリと状態設定を組み合わせた、徹底的な複数データセット評価フレームワークを確立する。
• ヘーディングに基づく exemplar 選択の有用性を検討する。
• 知識蒸留なしで競争力のある性能を示し、オープンソースのリポジトリで再現性を実現する。

提案手法

• IL 手法を評価するための6つの特性（Complexity、Memory、Accuracy、Timeliness、Plasticity、Scalability）を導入する。
• 初期状態と T-1 のインクリメンタル状態を持つクラスインクリメンタル学習問題を形式化する。
• 複数のデータセット、IL 状態構成、メモリサイズを組み合わせた共通評価フレームワークを開発する。
• 手法間の影響を評価するため、ヘーディングに基づく exemplar 選択を用いた実験を行う。
• ILを不均衡学習として扱い、バイアス補正技術を適用することで蒸留なしでも競争力のある結果が得られることを示す。
• 検証した手法を、統一された入力/出力を持つ共通のオープンソースリポジトリに統合する。

実験結果

リサーチクエスチョン

• RQ1 固定サイズのクラスインクリメンタル学習アルゴリズムは、多様な視覚タスク・データセットでどのように比較されるか？
• RQ2 制限されたメモリサイズが異なるILアルゴリズムの相対的パフォーマンスに与える影響は何か？
• RQ3 ヘーディングに基づくエンプラ選択は、メモリ制約下でIL手法全体に有益か？
• RQ4 知識蒸馏なしで競争力のある性能を達成できるか、どの条件下で可能か？
• RQ5 提案した6つの特性は、現実の設定におけるILの実用的な利用推奨とどのように関連するか？

主な発見

• すべての評価設定で単一のクラスILアルゴリズムが支配的とはいえない。
• メモリサイズやインクリメンタル状態数が変化すると、性能差は顕著である。
• メモリの可用性は、他のILパラメータよりも相対的な性能に強い影響を与える。
• ヘーディングに基づくエンベクセル選択は、テストされたすべての手法に一貫して利益をもたらす。
• 知識蒸留を用いずに、ILを不均衡学習としてモデル化し、バイアス補正技術を適用することで競争力のある結果を得られる。
• 著者らはデータセットや設定を横断する再現性を促進するオープンソースリポジトリを提供している。