[論文レビュー] Few-shot Class-incremental Learning for Classification and Object Detection: A Survey

Jinghua Zhang, Li Liu+3 more|arXiv (Cornell University)|Aug 13, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本調査は、少数のラベル付き例から新しいクラスを学習しつつ、以前に学習した知識を保持するというパラダイムであるFew-shot Class-incremental Learning (FSCIL) について包括的な概要を提供する。モデルが継続的に学習できるようにするが、Catastrophic forgetting や安定性と柔軟性のトレードオフといった課題を体系的に分析し、FSCIC および FSCIOD のデータベース型、構造ベース型、最適化ベース型の手法をレビューしている。主な研究分野として、フェデレーテッド学習や不完全なFSCILが特定されている。

ABSTRACT

Few-shot Class-Incremental Learning (FSCIL) presents a unique challenge in Machine Learning (ML), as it necessitates the Incremental Learning (IL) of new classes from sparsely labeled training samples without forgetting previous knowledge. While this field has seen recent progress, it remains an active exploration area. This paper aims to provide a comprehensive and systematic review of FSCIL. In our in-depth examination, we delve into various facets of FSCIL, encompassing the problem definition, the discussion of the primary challenges of unreliable empirical risk minimization and the stability-plasticity dilemma, general schemes, and relevant problems of IL and Few-shot Learning (FSL). Besides, we offer an overview of benchmark datasets and evaluation metrics. Furthermore, we introduce the Few-shot Class-incremental Classification (FSCIC) methods from data-based, structure-based, and optimization-based approaches and the Few-shot Class-incremental Object Detection (FSCIOD) methods from anchor-free and anchor-based approaches. Beyond these, we present several promising research directions within FSCIL that merit further investigation.

研究の動機と目的

• 動的でデータが乏しい環境において従来のディープラーニングの限界を克服し、新しいクラスごとに少数のラベル付き例での継続的学習を可能にすること。
• Catastrophic forgetting、データ不足に起因する過学習、安定性と柔軟性のジレンマといったFSCILの核心的課題を体系的に分析すること。
• 分類および物体検出の両分野におけるFSCIL手法を、データ、構造、最適化のアプローチごとに分類して構造的なレビューを提供すること。
• ベンチマークデータセット、評価指標、およびFSCILにおけるオープンな問題、特にプライバシー配慮型および不完全な学習シナリオを強調すること。
• フェデレーテッドFSCIL、基盤モデルの統合、長期学習に向けたロバストな知識蒸留といった、新たな研究分野を特定すること。

提案手法

• Fewショットクラスインクリメンタル分類（FSCIC）におけるFSCIL手法を、データベース型、構造ベース型、最適化ベース型のアプローチに分類する。
• Fewショットクラスインクリメンタル物体検出（FSCIOD）におけるアンカーフリーおよびアンカーベース型手法をレビューし、検出ヘッド設計と特徴量の整合性に注目する。
• 限られた旧データでの継続的学習において、旧クラスのパフォーマンスを維持するための知識蒸留（KD）技術を分析する。
• 自己教師あり事前学習および基盤モデル（例：CLIP、SAM、GPT）の使用を提案し、低データ環境における初期知識獲得を向上させる。
• 前向き互換性（forward compatibility）およびデータ拡張の導入を提言し、ベースモデル初期化段階での一般化性能を向上させる。
• プライバシーのトレードオフを伴うリプレイベース戦略を議論し、知識蒸留やフェデレーテッドラーニング統合といったプライバシー保護型代替手法を提唱する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、少数のラベル付き例からのみ新しいクラスを学習しながら、以前に学習したクラスの知識を保持できるか？
• RQ2 FSCILにおける主な技術的課題、特にCatastrophic forgettingとデータ不足に起因する過学習とは何か？
• RQ3 FSCICおよびFSCIODにおいて、データベース型、構造ベース型、最適化ベース型の手法は、性能とスケーラビリティの観点でどのように比較できるか？
• RQ4 基盤モデルおよび自己教師あり事前学習は、ショット数が少ない状況での初期モデルの一般化性能を向上させる上で果たす役割は何か？
• RQ5 FSCILにおける最も有望な今後の研究分野は何か。フェデレーテッド学習、不完全な学習、プライバシー配慮型学習のパラダイムを含む。

主な発見

• FSCILは過去4年間で著しく発展を遂げており、データが乏しく動的変化する環境において実用的であるという点で研究の注目が高まっている。
• 現在のFSCIL手法は、バックボーンの初期化に豊富なベースクラスデータに依存していることが多く、実世界への適用可能性や一般化性能の評価に制限を受ける。
• 知識蒸留は知識保持のための広く用いられる技術であるが、旧データの選択効率や蒸留の効率性は依然として未解決の課題である。
• CLIP や GPT といった基盤モデルは、FSCILにおける初期知識獲得と転移性能の向上において強いポテンシャルを示している。
• フェデレーテッドFSCILおよび不完全なFSCILは、プライバシー懸念や実世界のデータ分布の非同一性から、今後の重要な研究分野として浮上している。
• 進展は見られても、FSCILにおけるプライバシーやセキュリティは依然として十分に検討されておらず、特にデータリプレイや悪意のある攻撃への脆弱性の面で課題が残っている。