[論文レビュー] Generating Representative Samples for Few-Shot Classification

Jingyi Xu, Hieu Lê|arXiv (Cornell University)|May 5, 2022

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本論文は、ベースクラスのクラス代表的サンプル上で訓練された条件付き変分オートエンコーダー（CVAE）を用いて、少数ショット分類のための代表的サンプル生成手法を提案する。多変量ガウスモデルを用いて非代表的サンプルをフィルタリングし、高代表的度データに限定してCVAEを訓練することで、より正確なプロトタイプを生成し、miniImageNetおよびtieredImageNetで最先端の性能を達成した。1ショット精度では最大6%の向上を達成した。

ABSTRACT

Few-shot learning (FSL) aims to learn new categories with a few visual samples per class. Few-shot class representations are often biased due to data scarcity. To mitigate this issue, we propose to generate visual samples based on semantic embeddings using a conditional variational autoencoder (CVAE) model. We train this CVAE model on base classes and use it to generate features for novel classes. More importantly, we guide this VAE to strictly generate representative samples by removing non-representative samples from the base training set when training the CVAE model. We show that this training scheme enhances the representativeness of the generated samples and therefore, improves the few-shot classification results. Experimental results show that our method improves three FSL baseline methods by substantial margins, achieving state-of-the-art few-shot classification performance on miniImageNet and tieredImageNet datasets for both 1-shot and 5-shot settings. Code is available at: https://github.com/cvlab-stonybrook/fsl-rsvae.

研究の動機と目的

• 限られたサポートサンプルに起因する少数ショット分類プロトタイプのバイアスを是正すること。
• 意味的埋め込みから高品質な視覚的特徴量を生成することで、プロトタイプの代表的度を向上させること。
• より良いVAE訓練のため、非代表的訓練サンプルをフィルタリングするサンプル選択戦略を開発すること。
• 複数のベンチマークおよび設定で最先端の少数ショット分類性能を達成すること。

提案手法

• 意味的埋め込みを条件として視覚的特徴量を生成するため、ベースクラス上で条件付きVAE（SVAE）を訓練する。
• 各ベースクラスサンプルの特徴量とクラス中心との距離に基づき、多変量ガウスモデルを用いてその代表的度を推定する。
• クラスのガウス分布下での確率が低いなど、低代表的度のサンプルを除外して代表的サンプルの訓練集合を構築する。
• 選択された代表的サンプルに限定してCVAEを訓練することで、より忠実でプロトタイプに整合した特徴量を生成する。
• 少数ショットのサポートサンプルと生成された特徴量の両方を用いてクラスプロトタイプを構築し、分類のロバスト性を向上させる。
• 核密度推定およびt-SNE可視化を用いて、特徴量分布とプロトタイプが真の値に近いかを分析する。

Figure 1 : Representative Samples. We refer representative samples to the “easy-to-recognize” samples that faithfully reflect the key characteristics of the category. We identify those samples and then use them to train a VAE model for feature generation, conditioned on class-representative semantic

実験結果

リサーチクエスチョン

• RQ1 条件付きVAEを用いて代表的視覚的特徴量を生成することで、少数ショット分類の精度が向上するか？
• RQ2 ベース学習集合から非代表的サンプルをフィルタリングすることで、生成特徴量の品質およびプロトタイプ推定の質が向上するか？
• RQ3 訓練データの代表的度が、少数ショット分類モデルの性能にどのように影響するか？
• RQ4 提案手法は、異なる意味的埋め込みソース（例：CLIP対Word2Vec）に対しても一般化可能か？
• RQ5 ベースライン手法と比較して、生成されたプロトタイプは真のプロトタイプにどの程度近いか？

主な発見

• 提案手法R-SVAEは、miniImageNetおよびtieredImageNetの両方で最先端の性能を達成し、ベースライン比で1ショット精度が6.1%の絶対的向上を達成した。
• ベース学習集合のわずか10%（最も代表的度の高いサンプル）に限定してCVAEを訓練した場合が最良の性能を示し、サンプルフィルタリングの有効性を裏付けた。
• R-SVAEで生成された特徴量を用いることで、推定プロトタイプと真のプロトタイプとの距離が顕著に短縮された。これにより、プロトタイプの正確性が向上したことが確認された。
• R-SVAEは、3つの異なるFSLベースライン（Meta-Baseline、ProtoNetなど）を、代表的度面で1–2%、1ショット精度で5–6%向上させた。
• t-SNE可視化により、R-SVAEで生成された特徴量が、実データ分布に近く、標準SVAEの特徴量よりもよりコンパクトであることが確認された。
• CLIPではなくWord2Vec埋め込みを用いても性能が維持されるため、意味的埋め込みソースに強く依存しない堅牢性を示した。

Figure 2 : Overview – The key aspect of our approach is to subset our training set to the most representative samples to train a conditional VAE model that generates more representative features. (a) To select representative samples, we assume that the features of each class follow a multivariate Ga