[論文レビュー] Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration

Qiwei Wang, Da-Wei Zhou+3 more|arXiv (Cornell University)|Dec 8, 2023

Domain Adaptation and Few-Shot Learning被引用数 17

ひとこと要約

TEEN は、訓練不要のプロトタイプ較正を提案し、バイアスのかかった新クラスのプロトタイプと重み付きベースプロトタイプを意味的類似性で融合させ、追加の訓練なしに FSCIL における新クラスの識別性を高めます。

ABSTRACT

Real-world scenarios are usually accompanied by continuously appearing classes with scare labeled samples, which require the machine learning model to incrementally learn new classes and maintain the knowledge of base classes. In this Few-Shot Class-Incremental Learning (FSCIL) scenario, existing methods either introduce extra learnable components or rely on a frozen feature extractor to mitigate catastrophic forgetting and overfitting problems. However, we find a tendency for existing methods to misclassify the samples of new classes into base classes, which leads to the poor performance of new classes. In other words, the strong discriminability of base classes distracts the classification of new classes. To figure out this intriguing phenomenon, we observe that although the feature extractor is only trained on base classes, it can surprisingly represent the semantic similarity between the base and unseen new classes. Building upon these analyses, we propose a simple yet effective Training-frEE calibratioN (TEEN) strategy to enhance the discriminability of new classes by fusing the new prototypes (i.e., mean features of a class) with weighted base prototypes. In addition to standard benchmarks in FSCIL, TEEN demonstrates remarkable performance and consistent improvements over baseline methods in the few-shot learning scenario. Code is available at: https://github.com/wangkiw/TEEN

研究の動機と目的

• 凍結された特徴抽出器とバイアスのかかったプロトタイプを使用した場合、FSCIL で新クラスの性能が遅れがちな原因を理解する。
• 追加の最適化なしに新クラスの識別性を改善する訓練不要の較正戦略を開発する。
• 基底クラスと新クラス間の意味的類似性を活用して新しいプロトタイプを較正する。
• 標準的な FSCIL ベンチマークで TEEN を評価し、基底クラスと新クラスの性能への影響を評価する。

提案手法

• 基底プロトタイプが新クラスとの類似性に関して適切に較正され、有用であることを特定する。
• 新クラスの各プロトタイプ €c\u001f を、バイアスのかかったプロトタイプと基底プロトタイプに基づく較正項をブレンドして較正する: € c_n = \u0003b1 c_n + (1\u0004- \u0003b1) € c_n, ここで € c_n = € sum_b w_{b,n} c_b.
• 新しいプロトタイプと基底プロトタイプ間の類似性をコサイン類似度 S_{b,n} = (c_b · c_n) / (||c_b|| ||c_n||) × τ を用いて計算し、基底プロトタイプ上でのソフトマックスを介して w_{b,n} を導出する。
• 較正後のプロトタイプを € c_n = \u0010.5 c_n + 0.5 € sum_b w_{b,n} c_b (特定のデータセットに対して) と設定して、訓練不要の融合を示す。
• 本手法が基盤タスクの訓練後に追加の学習可能パラメータを必要とせず、プラグアンドプレイモジュールとして機能することを示す。

実験結果

リサーチクエスチョン

• RQ1 基底クラスのプロトタイプにより捉えられる意味情報を、再学習せずに FSCIL における新クラスの識別性向上に用いることができるか。
• RQ2 訓練不要のプロトタイプ較正は、新クラスのサンプルを基底クラスに誤分類することを減らすか。
• RQ3 TEEN は基底クラスと新クラスの性能および FSCIL 全体の整合性にどのような影響を与えるか。

主な発見

• TEEN は平均精度を高め、FSCIL ベンチマークにおいて新クラスの精度を、ランナーアップと比較して約 10.02% 〜 18.40% の差で顕著に改善する。
• TEEN はベースラインと比較して偽陽性率（FPR）と新クラスが基底クラスへ誤分類される割合（TBR）の低下をもたらす。
• TEEN は FSCIL 外の少数ショット学習シナリオでも競争力のある性能を維持し、基礎特徴抽出を超える訓練コストは発生しない。
• この較正は訓練不要で、基底と新規プロトタイプ間の意味的類似性に依存するプラグアンドプレイモジュールとして機能します。
• アブレーション研究により、類似度に基づく重み付け（式6）が単純な最近傍基底プロトタイプ整合よりも優れており、意味的重み付けの価値を確認している。