[論文レビュー] Revisiting Metric Learning for Few-Shot Image Classification

Xiaomeng Li, Lequan Yu+3 more|arXiv (Cornell University)|Jul 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 5

ひとこと要約

本論文は、クエリ特徴量をK個の負例と同時に比較することで、三重損失を一般化する深層K-トゥプルネットワークを提案する。これにより、未知のクラスの特徴埋め込みが向上し、少数ショット画像分類のためのメトリック学習が見直される。本手法は、miniImageNetで最先端の性能を達成し、CUB-200、Stanford Dogs、Caltech-101といった未観測データセットに対しても効果的に一般化する。

ABSTRACT

The goal of few-shot learning is to recognize new visual concepts with just a few amount of labeled samples in each class. Recent effective metric-based few-shot approaches employ neural networks to learn a feature similarity comparison between query and support examples. However, the importance of feature embedding, i.e., exploring the relationship among training samples, is neglected. In this work, we present a simple yet powerful baseline for few-shot classification by emphasizing the importance of feature embedding. Specifically, we revisit the classical triplet network from deep metric learning, and extend it into a deep K-tuplet network for few-shot learning, utilizing the relationship among the input samples to learn a general representation learning via episode-training. Once trained, our network is able to extract discriminative features for unseen novel categories and can be seamlessly incorporated with a non-linear distance metric function to facilitate the few-shot classification. Our result on the miniImageNet benchmark outperforms other metric-based few-shot classification methods. More importantly, when evaluated on completely different datasets (Caltech-101, CUB-200, Stanford Dogs and Cars) using the model trained with miniImageNet, our method significantly outperforms prior methods, demonstrating its superior capability to generalize to unseen classes.

研究の動機と目的

• 既存のメトリックベースの少数ショット学習手法における特徴埋め込み品質の無視を是正する。
• トレーニング中にサンプル間の関係を活用することで、未知の新規クラスへの一般化を向上させる。
• エピソードベースのトレーニングを用い、K-トゥプルを用いた設定で、少数ショット推論状況をよりよく模倣するトレーニング枠組みを構築する。
• 学習済み特徴の、トレーニング分布を超える多様なデータセット間での転送性を実証する。
• 異なるデータセットからの新規クラスへの一般化をテストする新しい評価プロトコルを確立し、実世界の関連性を高める。

提案手法

• 各エピソードでアンカーデータに対してK個の負例を含む、古典的三重損失を拡張した深層K-トゥプルネットワークを提案する。
• K個の負例全体にわたってクラス内凝集性とクラス間分離性を促進する一般化された損失関数を定式化する。
• 情報量の多い三重項をサンプリングするためのセミハードマイニング戦略を導入し、収束を加速させるとともにトレーニングの安定性を向上させる。
• エンドツーエンドの少数ショット分類を実現するため、K-トゥプル特徴埋め込みと学習可能な非線形距離メトリック（例：リレーションネットワーク）を統合する。
• 各エピソードにサポートセットとクエリセットを含むエピソードベースのメタラーニングでモデルをトレーニングする。
• t-SNE可視化を用いて、本手法と他の手法の特徴埋め込みを比較し、新規クラスにおいてより優れたクラスタリングが得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 複数のサンプル間の関係を活用する一般化されたメトリック学習フレームワークは、少数ショット分類性能を向上させることができるか？
• RQ2 K-トゥプル学習は、標準的な三重損失と比較して、未知のクラスへの特徴一般化においてどのように異なるか？
• RQ3 あるデータセット（例：miniImageNet）でトレーニングしたモデルが、まったく異なるデータセット（例：CUB-200、Stanford Dogs）の新規クラスにどの程度一般化できるか？
• RQ4 トレーニングに用いるクラス数を増やすことで、新規カテゴリにおける少数ショット分類の転送性と精度が向上するか？
• RQ5 K-トゥプル損失におけるマージンの選択が、モデル性能と収束にどのように影響するか？

主な発見

• 提案されたK-トゥプルネットワークは、miniImageNetにおける5-way 1-shot分類で58.30%、5-way 5-shot分類で72.37%の精度を達成し、先行するメトリックベース手法を上回る。
• ImageNetからの追加のトレーニングクラスを活用することで、5-way 1-shotで65.60%、5-way 5-shotで77.74%に向上し、より多くのデータでスケーラビリティが確認された。
• 本モデルは、miniImageNetでのみトレーニングされた場合でも、Caltech-101、CUB-200、Stanford Dogs、Carsといった未観測データセットにおいて、先行手法よりも顕著に優れた一般化性能を示した。
• t-SNE可視化から、本手法で学習された特徴は、ProtoNet や RelationNet と比較して、新規クラスにおいてより判別可能で良好に分離されていることが明らかになった。
• K-トゥプル損失の最適なマージンハイパーパrameterは0.5であり、それより小さいマージンはクラス間変動を捉えきれず、大きなマージンは収束を妨げることがわかった。
• セミハードマイニングによるサンプリングは、トレーニングの安定性を向上させるとともに収束を加速させ、実験全体で一貫した性能向上に寄与した。