[論文レビュー] Few-Shot Class-Incremental Learning from an Open-Set Perspective

Can Peng, Kun Zhao+3 more|arXiv (Cornell University)|Jul 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、極度のデータ不足下での特徴の区別性と一般化性能を向上させるために、角度ペナルティ損失を用いるFew-Shot Class-Incremental Learning手法ALICEを提案する。クラスおよびデータ増強を統合したバランス型プロトタイプ学習により、CIFAR100、miniImageNet、CUB200で最先端性能を達成し、ワンショット設定において最大3.2%の調和平均精度向上を達成した。

ABSTRACT

The continual appearance of new objects in the visual world poses considerable challenges for current deep learning methods in real-world deployments. The challenge of new task learning is often exacerbated by the scarcity of data for the new categories due to rarity or cost. Here we explore the important task of Few-Shot Class-Incremental Learning (FSCIL) and its extreme data scarcity condition of one-shot. An ideal FSCIL model needs to perform well on all classes, regardless of their presentation order or paucity of data. It also needs to be robust to open-set real-world conditions and be easily adapted to the new tasks that always arise in the field. In this paper, we first reevaluate the current task setting and propose a more comprehensive and practical setting for the FSCIL task. Then, inspired by the similarity of the goals for FSCIL and modern face recognition systems, we propose our method -- Augmented Angular Loss Incremental Classification or ALICE. In ALICE, instead of the commonly used cross-entropy loss, we propose to use the angular penalty loss to obtain well-clustered features. As the obtained features not only need to be compactly clustered but also diverse enough to maintain generalization for future incremental classes, we further discuss how class augmentation, data augmentation, and data balancing affect classification performance. Experiments on benchmark datasets, including CIFAR100, miniImageNet, and CUB200, demonstrate the improved performance of ALICE over the state-of-the-art FSCIL methods.

研究の動機と目的

• 現在のFSCILベンチマークが単にクラス別平均精度に依存し、データの不均衡によるバイアスを検出できないという限界を是正すること。
• ワンショット学習を含む極度のデータ不足下の現実世界のオープンセット状況をより適切に反映するよう、FSCILタスクを再定式化すること。
• ベース特徴抽出器が既知クラスおよび将来の未観測クラスを適切に表現できるようにすることで、モデルの一般化性能を向上させること。
• データ処理技術（クラス増強、データ増強、バランス型データ埋め込み）がFSCIL性能に与える影響を調査すること。
• 崩壊的忘却に強く、低ショットインクリメンタル学習環境でも効果的な手法を開発すること。

提案手法

• 顔認識にインspiredされた角度ペナルティ損失に標準的なクロスエントロピー損失を置き換えることで、特徴の凝縮性とクラス間分離性を向上させる。
• バックボーンの後ろに投影層を導入し、ベースクラスとインクリメンタルクラス間での特徴の多様性と転送可能性を向上させる。
• クラス別データ増強と標準的なデータ増強（例：ランダムクロッピング、カラーのジャマリング）を適用し、特徴のロバスト性を向上させる。
• バランス型最近傍クラス平均（NMC）を用いてプロトタイプを生成し、ベースクラスとインクリメンタルクラスが等しく寄与するようにし、予測バイアスを低減する。
• 最適なパフォーマンスを得るため、CIFAR100でグリッドサーチを実施し、ハイパーパrameter（コサインマージンm = 0.4、スケーリング係数s = 30）を最適化する。
• バックボーンを多くの設定で固定しながら、エンドツーエンドで角度損失とデータ増強を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ワンショットおよびオープンセット条件を含む提案されたFSCILベンチマーク設定は、従来の設定と比較して、現実世界の展開課題をどの程度適切に反映しているか？
• RQ2 角度ペナルティ損失を用いることで、少データインクリメンタル学習における特徴のクラスタリングと分離性がどの程度向上するか？
• RQ3 クラス増強、データ増強、およびバランス型データ埋め込みが、FSCILにおけるモデルの一般化性能と精度にどのように寄与するか？
• RQ4 角度損失とバランス型プロトタイプ学習を用いて訓練されたモデルは、ワンショット学習などの極度のデータ不足下でも最先端手法を上回る性能を示せるか？
• RQ5 マージンとスケーリング係数というハイパーパrameterの設定は、インクリメンタル学習の各ステップでどのようになるのが最適か？

主な発見

• 8ステップ、5ウェイ、5ショットのCIFAR100ベンチマークにおいて、ALICEは最先端手法よりも3.2%の絶対的調和平均精度向上を達成し、特に後続のインクリメンタルステップで最大の向上を示した。
• データ増強とバランス型データ埋め込みを組み合わせた場合、クロスエントロピー損失の代わりに角度ペナルティ損失を用いることで、調和平均精度が2.8%向上した。
• クラス増強、データ増強、および投影層の組み合わせにより、ベースラインのクロスエントロピー学習と比較して、調和平均精度が5.2%向上した。
• バランス型プロトタイプ生成は予測バイアスを顕著に低減し、角度ペナルティ損失を用いる場合、調和平均精度が9.0ポイント向上した。
• t-SNE可視化により、角度ペナルティ損失がクロスエントロピー損失よりも特徴クラスタをより密に、かつ明確に分離することが確認された。特に増強を組み合わせた場合に顕著であった。
• ハイパーパrameter分析の結果、最適なパフォーマンスはコサインマージンm = 0.4およびスケーリング係数s = 30で達成され、s = 20またはs = 30が全セッションで強力な結果をもたらした。