[論文レビュー] Forward Compatible Few-Shot Class-Incremental Learning

Da-Wei Zhou, Fuyun Wang+4 more|arXiv (Cornell University)|Mar 14, 2022

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

本稿では、未来のクラスのための埋め込み空間への仮想プロトタイプの事前割り当てにより、前向き互換性を高める、少サンプルの段階的学習のための新規フレームワークである ForwArd Compatible Training (Fact) を提案する。仮想プロトタイプの最適化とインスタンス混合による仮想インスタンスの生成により、モデルは崩壊的忘却に強く、最小限の性能低下で新しいクラスを効率的に統合できる。本手法は、ベンチマークデータセットにおいて最先端の精度を達成した。

ABSTRACT

Novel classes frequently arise in our dynamically changing world, e.g., new users in the authentication system, and a machine learning model should recognize new classes without forgetting old ones. This scenario becomes more challenging when new class instances are insufficient, which is called few-shot class-incremental learning (FSCIL). Current methods handle incremental learning retrospectively by making the updated model similar to the old one. By contrast, we suggest learning prospectively to prepare for future updates, and propose ForwArd Compatible Training (FACT) for FSCIL. Forward compatibility requires future new classes to be easily incorporated into the current model based on the current stage data, and we seek to realize it by reserving embedding space for future new classes. In detail, we assign virtual prototypes to squeeze the embedding of known classes and reserve for new ones. Besides, we forecast possible new classes and prepare for the updating process. The virtual prototypes allow the model to accept possible updates in the future, which act as proxies scattered among embedding space to build a stronger classifier during inference. FACT efficiently incorporates new classes with forward compatibility and meanwhile resists forgetting of old ones. Extensive experiments validate FACT's state-of-the-art performance. Code is available at: https://github.com/zhoudw-zdw/CVPR22-Fact

研究の動機と目的

• 限られた例数で新しいクラスを学習する少サンプル段階的学習（FSCIL）における崩壊的忘却を解消すること。
• 単に後向き互換性に依存するのではなく、前向き互換性を実現することで、モデルの耐性と一般化性能を向上させること。
• 基本学習フェーズ中に、将来のクラスのための埋め込み空間を事前に予約することで、古いクラスの表現を損なわずにモデルを拡張可能にすること。
• 仮想インスタンスとプロトタイプを用いて将来の可能性のあるクラスを予測し、段階的アップデートに備えたモデルの準備を高めること。
• 仮想データ拡張による頑健な一般化と埋め込み空間の予約を組み合わせることで、FSCILにおける最先端の性能を達成すること。

提案手法

• 基本セッション中に、将来のクラスのための埋め込み空間に仮想プロトタイプを事前割り当てすることで、モデルの拡張性を確保する。
• 対照的損失を用い、クラス内分散の最小化とクラス間マージンの最大化を最適化することで、仮想プロトタイプを最適化する。この際、トレードオフハイパーパrameter γ を用いる。
• 多様体ミックスアップを用いて仮想インスタンスを生成し、潜在的な将来のクラスをシミュレートすることで、モデルが将来の更新に備えることができる。
• 推論時に仮想プロトタイプを情報豊かな基底ベクトルとして用い、バックボーンの再トレーニングなしに強力で段階的な分類器を構築する。
• 分類ヘッドに仮想プロトタイプを統合することで、同一のコンパクトな表現を用いて既知のクラスと新しいクラスの両方を分類可能にする。
• 交差エントロピー、実インスタンスおよび仮想プロトタイプにおける対照的損失、安定性のための正則化項を組み合わせた損失関数を用いて、エンドツーエンドでモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 基本学習フェーズ中に将来のクラスのための埋め込み空間を予約することで、FSCILにおける前向き互換性を効果的に達成できるか？
• RQ2 仮想プロトタイプと仮想インスタンスの使用が、少サンプル段階的学習におけるモデル性能と一般化性能をどのように向上させるか？
• RQ3 従来の後向き互換性アプローチと比較して、前向き互換性は崩壊的忘却をどの程度軽減するか？
• RQ4 ハイパーパrameter（例えば仮想プロトタイプ数や損失のトレードオフ）の変更に伴い、モデル性能がどの程度感度を示すか？
• RQ5 インスタンス混合手法の選択（例：多様体ミックスアップ、CutMix）が、未観測クラスへの一般化能力に顕著な影響を与えるか？

主な発見

• FactはCUB200およびminiImageNetで最先端の性能を達成し、Decoupled-Cosine や CEC といった既存手法を上回る、旧クラスおよび新クラス両方の精度を示した。
• 新クラスにおける性能が顕著に優れており、CUB200では調和平均精度が78.6%に達し、強力な前向き互換性を示した。
• 仮想プロトタイプ数（V）を増やすことで性能が向上し、V=40まで向上が見られたが、それ以降は増益が微小となり、V=40が大多数の設定において最適であると示唆された。
• 異なるインスタンス混合手法に対してモデルは頑健であり、多様体ミックスアップ（α=0.5）が最も優れた結果をもたらし、あらゆる設定で高い性能を維持した。
• ショット数（K）が高くなるほど性能が向上するが、K=20を超えると増益が顕著に小さくなり、大ショット設定では収益逓減が見られた。
• 最適なハイパーパrameter設定は γ=0.01 かつ V=NB（新クラス数）であり、表現のコンパクト性と一般化性能のバランスを最適に保った。