[論文レビュー] Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning

Yizhao Gao, Nanyi Fei+4 more|arXiv (Cornell University)|Jan 23, 2021

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、拡張埋め込み（AEs）とサポートセットのプロトタイプ中心の対照的損失を組み合わせることで特徴の学習を向上させる、新しい few-shot learning フレームワークである対照的プロトタイプ学習と拡張埋め込み（CPLAE）を提案する。クラスプロトタイプをアンカーとし、各サンプルの複数の拡張ビューを統合することで、CPLAE は埋め込みの質を向上させ、標準ベンチマークで最先端の性能を達成する。

ABSTRACT

Most recent few-shot learning (FSL) methods are based on meta-learning with episodic training. In each meta-training episode, a discriminative feature embedding and/or classifier are first constructed from a support set in an inner loop, and then evaluated in an outer loop using a query set for model updating. This query set sample centered learning objective is however intrinsically limited in addressing the lack of training data problem in the support set. In this paper, a novel contrastive prototype learning with augmented embeddings (CPLAE) model is proposed to overcome this limitation. First, data augmentations are introduced to both the support and query sets with each sample now being represented as an augmented embedding (AE) composed of concatenated embeddings of both the original and augmented versions. Second, a novel support set class prototype centered contrastive loss is proposed for contrastive prototype learning (CPL). With a class prototype as an anchor, CPL aims to pull the query samples of the same class closer and those of different classes further away. This support set sample centered loss is highly complementary to the existing query centered loss, fully exploiting the limited training data in each episode. Extensive experiments on several benchmarks demonstrate that our proposed CPLAE achieves new state-of-the-art.

研究の動機と目的

• クエリ中心の損失に基づくメタラーニング手法が、限られたサポートセットのサンプルを十分に活用できない、few-shot learning（FSL）における根本的制限に対処する。
• クエリサンプルではなくクラスプロトタイプを中心とした新しい学習目的を導入することで、サポートセットにおけるデータの枯渇問題を克服する。
• オリジナルの特徴表現と拡張された特徴表現を組み合わせた拡張埋め込み（AEs）を構築することで、特徴の一般化を向上させる。
• クラスプロトタイプをアンカーとし、クエリサンプルをポジティブ／ネガティブ例とする、新しい教師あり対照的損失を用いて、FSL に対照的学習を統合する。
• クエリ中心の損失とサポートセットのプロトタイプ中心の損失を組み合わせることで、より良いクラス分離と改善された few-shot 一般化が達成されることを示す。

提案手法

• オリジナル画像とその3つのデータ拡張バージョン（例：水平反転、垂直反転、回転）からの特徴埋め込みを連結することで、拡張埋め込み（AEs）を構築する。
• 対照的学習のための潜在空間に埋め込みをマップするために、プロジェクションヘッドを用いることで、表現の質を向上させる。
• 各クラスプロトタイプがアンカーとして機能する、新しい対照的プロトタイプ学習（CPL）損失を設計する。同じクラスのクエリサンプルがポジティブ、それ以外がネガティブとなる。
• 提案された CPL 損失を、例として ProtoNets からの標準的なクエリ中心損失と組み合わせ、マルチ目的学習の枠組みで両目的を同時に最適化する。
• 対照的学習の目的関数の強化のため、訓練中に埋め込み順序をシャッフルする。これにより、短絡的アライメントを防ぎ、モデルの頑健性を向上させる。
• エピソードベースのメタラーニングでモデルを訓練する。各エピソードには $n$ 個の few-shot クラスと、各クラスに $k$ 個のサポートサンプルが含まれ、最終的な評価はクエリセットで実施する。

実験結果

リサーチクエスチョン

• RQ1 限られたサポートセットデータをより効果的に活用できるようにすることで、プロトタイプ中心の対照的損失が few-shot learning の性能を向上させるか？
• RQ2 複数のデータ拡張からの拡張埋め込み（AEs）を統合することで、FSL における特徴表現とモデル一般化にどのような影響を与えるか？
• RQ3 プロトタイプ中心の対照的損失とクエリ中心の損失を組み合わせることで、単独で使用する場合よりも、より良いクラスタリングおよび分類性能が得られるか？
• RQ4 提案された対照的学習目的におけるプロジェクションヘッドとシャッフル戦略の貢献度は何か？
• RQ5 提案された CPLAE フレームワークは、多様な few-shot learning ベンチマークおよびデータ拡張戦略に対して有効であるか？

主な発見

• CPLAE は、miniImageNet、tieredImageNet、CIFAR-FS の3つの標準的ベンチマークで、新たな最先端の性能を達成した。
• 提案された対照的プロトタイプ学習（CPL）損失は、事前学習タスク予測や非教師あり対照的学習などの代替損失を著しく上回った。
• 拡張埋め込み（AEs）の使用により、UMAP 視覚化で明確なデータ分布が得られることから、特徴のクラスタリングと一般化が向上した。
• 対照的損失におけるプロトタイプベースのアンカーとプロジェクションヘッドの統合により、クラス内での密着性とクラス間の分離性が向上した。
• 訓練中に埋め込み順序をシャッフルすることは、効果的な対照的学習に不可欠であり、シャッフルを実施しないモデルは性能が劣った。
• 視覚化結果から、拡張埋め込み空間が最も明確なクラスタ構造を達成しており、複数の拡張ビュー間での暗黙のアライメントの有効性が確認された。