[論文レビュー] Class-Incremental Learning: A Survey

Da-Wei Zhou, Qiwei Wang+4 more|arXiv (Cornell University)|Feb 7, 2023

Domain Adaptation and Few-Shot Learning参考文献 237被引用数 64

ひとこと要約

この論文は深層クラス増分学習（CIL）手法を調査し、データ中心・モデル中心・アルゴリズム中心に組織し、統一的な評価とメモリ予算に基づく公平な比較に焦点を当てている。

ABSTRACT

Deep models, e.g., CNNs and Vision Transformers, have achieved impressive achievements in many vision tasks in the closed world. However, novel classes emerge from time to time in our ever-changing world, requiring a learning system to acquire new knowledge continually. Class-Incremental Learning (CIL) enables the learner to incorporate the knowledge of new classes incrementally and build a universal classifier among all seen classes. Correspondingly, when directly training the model with new class instances, a fatal problem occurs -- the model tends to catastrophically forget the characteristics of former ones, and its performance drastically degrades. There have been numerous efforts to tackle catastrophic forgetting in the machine learning community. In this paper, we survey comprehensively recent advances in class-incremental learning and summarize these methods from several aspects. We also provide a rigorous and unified evaluation of 17 methods in benchmark image classification tasks to find out the characteristics of different algorithms empirically. Furthermore, we notice that the current comparison protocol ignores the influence of memory budget in model storage, which may result in unfair comparison and biased results. Hence, we advocate fair comparison by aligning the memory budget in evaluation, as well as several memory-agnostic performance measures. The source code is available at https://github.com/zhoudw-zdw/CIL_Survey/

研究の動機と目的

• クラス増分学習（CIL）を定義し、問題設定と目標を形式化する。
• データ中心・モデル中心・アルゴリズム中心のカテゴリにまたがる既存の深層CIL手法を調査する。
• 複数のベンチマークに渡ってメモリ予算を重視する統一的で公平な評価フレームワークを提供する。
• 標本管理（メモリバッファ）を分析し、プライバシーへの影響を議論する。
• 将来のCIL研究と実世界展開を導く洞察を提供する。

提案手法

• CIL手法をデータ中心・モデル中心・アルゴリズム中心（およびサブカテゴリーを含む）に分類するという分類学的手法を適用する。
• 時間とともに手法を時系列で整理し、進化する研究焦点を示す（Figure 3）。
• CIFAR100 および ImageNet100/1000 のベンチマークデータセットで16手法の統一的な実証評価を実施し、メモリ予算の影響を議論する。
• メモリ予算に合わせた評価と予算非依存の性能指標を強調・推奨する。
• 標本セット管理、標本選択のヘルディング、直接リプレイと生成リプレイのような代替案を議論する。
• 参照されたGitHubリポジトリにおける評価の再現用公開コードを提供する。

実験結果

リサーチクエスチョン

• RQ1 深層CIL手法の現状を最も適切に捉える分類学は何か？
• RQ2 公平なメモリ予算評価のもとで、データ中心・モデル中心・アルゴリズム中心のアプローチはどのように比較されるか？
• RQ3 メモリ予算がCILの性能と実験比較に及ぼす実践的影響は何か？
• RQ4 標本管理戦略は忘却とタスク間の総合的な正確さにどのように影響するか？

主な発見

• 本調査は、データ中心・モデル中心・アルゴリズム中心のファミリーに分類された深層CIL手法を、総合的かつ分類学的な視点で提供する。
• 従来のCNNとViTをベースとしたアプローチを横断する16手法の統一評価を、CIFAR100およびImageNet100/1000で提供する。
• メモリ予算は公正な手法比較において重要な要因であり、本論文は整合した予算と予算非依存指標を提唱する。
• 標本管理とデータリプレイ／生成リプレイは、CILにおける忘却の対応の中核であり、メモリとプライバシーの考慮とのトレードオフがある。
• 最近の傾向には、バックボーンの拡張・プロンプト拡張、およびインクリメンタルタスク下でのモデル成長を容易にするViTベースの戦略が含まれる。
• 著者は評価を再現するためのソースコードを公開している。