[論文レビュー] Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for Few-Shot Class-Incremental Learning

Zeyin Song, Yifan Zhao+4 more|arXiv (Cornell University)|Apr 2, 2023

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文では、ベース学習フェーズの訓練中に、事前に定義された変換を用いて生成された意味的注意をもつ仮想クラスを導入することで、ベースクラスの分離性と新規クラスへの一般化性能を向上させる、少数ショットクラスインクリメンタル学習のための新規手法、意味的注意付き仮想対照学習（SAVC）を提案する。事前に定義された変換により生成された幻想的空間上で教師付き対照学習を適用することで、3つの主要なFSCILベンチマークにおいて最先端の性能を達成し、CEおよびSCLベースラインと比較して最大11.57%の精度向上を達成した。

ABSTRACT

Few-shot class-incremental learning (FSCIL) aims at learning to classify new classes continually from limited samples without forgetting the old classes. The mainstream framework tackling FSCIL is first to adopt the cross-entropy (CE) loss for training at the base session, then freeze the feature extractor to adapt to new classes. However, in this work, we find that the CE loss is not ideal for the base session training as it suffers poor class separation in terms of representations, which further degrades generalization to novel classes. One tempting method to mitigate this problem is to apply an additional naive supervised contrastive learning (SCL) in the base session. Unfortunately, we find that although SCL can create a slightly better representation separation among different base classes, it still struggles to separate base classes and new classes. Inspired by the observations made, we propose Semantic-Aware Virtual Contrastive model (SAVC), a novel method that facilitates separation between new classes and base classes by introducing virtual classes to SCL. These virtual classes, which are generated via pre-defined transformations, not only act as placeholders for unseen classes in the representation space, but also provide diverse semantic information. By learning to recognize and contrast in the fantasy space fostered by virtual classes, our SAVC significantly boosts base class separation and novel class generalization, achieving new state-of-the-art performance on the three widely-used FSCIL benchmark datasets. Code is available at: https://github.com/zysong0113/SAVC.

研究の動機と目的

• 表現空間におけるベースクラスの分離が不十分であることが原因で、既存の少数ショットクラスインクリメンタル学習（FSCIL）手法の一般化性能が劣化している問題に対処すること。
• 意味的変換を用いて生成された仮想クラスを導入することで、FSCILにおけるクラス識別性と一般化性能が向上するかを調査すること。
• 将来のクラスデータへのアクセスを必要とせずに、クラス内コンパクト性とクラス間分離性の両方を向上させる手法を開発すること。
• 幻想的空間を用いた対照学習を活用することで、標準的なFSCILベンチマークで最先端の性能を達成すること。

提案手法

• ベース学習フェーズの訓練中に、事前に定義された変換（例：色ずれ、回転、CutMix）を用いて生成された仮想クラスを導入し、表現空間を拡張する。
• 仮想クラスが未学習クラスの代替として機能する意味的注意をもつ幻想的空間を構築し、埋め込み空間内の意味的多様性を豊かにする。
• グローバルおよびローカルの対照項を組み合わせたハイブリッド教師付き対照損失を適用し、学習可能係数αとβを用いて両成分のバランスを調整する。
• クロスエントロピーと提案された意味的注意付き仮想対照損失の両方を組み合わせてバックボーンを訓練することで、クラス分離性を向上させる。
• ベース学習後は特徴抽出器を固定し、インクリメンタルフェーズではヘッド部または上位レイヤーのみを微調整することで、古い知識を保持する。
• 表現品質と意思決定境界の安定性を分析するために、t-SNEと混同行列の可視化を実施する。

実験結果

リサーチクエスチョン

• RQ1 意味的変換を用いて生成された仮想クラスは、FSCILにおけるベースクラスの分離性と新規クラスの一般化性能を向上させることができるか？
• RQ2 対照学習に幻想的空間を組み込むことで、標準的なCEおよびSCLと比較して、古いクラスと新しいクラスの埋め込みの重なりが減少するか？
• RQ3 異なる種類の変換は、仮想対照フレームワークの性能にどのように影響を与えるか？
• RQ4 インクリメンタル微調整フェーズにおけるトレーニング可能なレイヤーとハイパーパrameter（α、β）の最適な設定は何か？
• RQ5 提案手法は、標準的なFSCILベンチマークで既存の最先端手法をどの程度上回るか？

主な発見

• mini-ImageNetでインクリメンタルフェーズの微調整において、ベースラインのCE手法と比較して11.57%の精度向上を達成した。
• CIFAR100におけるt-SNE可視化により、ベースクラスの分離性が向上し、古いクラスと新しいクラスの埋め込みの重なりが減少していることが確認された。
• ローカル対照損失（MC）を用いることで10.26%の性能向上が得られ、局所的特徴パターンに注目することで一般化性能が向上することが示された。
• 最適なハイパーパrameter設定はα=0.2、β=0.8であり、変動するハイパーパrameterに対してもモデルが頑健であることが示された。
• CIFAR100、CUB200、miniImageNetの3つのベンチマークすべてで、SAVCは新たな最先端性能を達成し、SCLベースラインと比較して最大8.98%の向上を示した。
• 混同行列の分析により、SAVCはベースクラスおよび新規クラスの両方で強固な性能を維持しており、古いカテゴリと新しいカテゴリの間で混同が生じていないことが確認された。