[論文レビュー] Matching Feature Sets for Few-Shot Image Classification

Arman Afrasiyabi, Hugo Larochelle+2 more|arXiv (Cornell University)|Apr 2, 2022

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

この論文は、既存のバックボーンに軽量な自己注意モジュール（マッパー）を組み込み、画像を単一のベクトルではなく特徴ベクトルの集合として表現する、少サンプル画像分類手法SetFeatを提案する。集合間マッチングメトリクスを適用することで、パラメータ増加を最小限に抑えながら最先端の性能を達成し、miniImageNet、tieredImageNet、CUBのデータセットにおいて1ショット精度で最大1.83%の向上を達成した。

ABSTRACT

In image classification, it is common practice to train deep networks to extract a single feature vector per input image. Few-shot classification methods also mostly follow this trend. In this work, we depart from this established direction and instead propose to extract sets of feature vectors for each image. We argue that a set-based representation intrinsically builds a richer representation of images from the base classes, which can subsequently better transfer to the few-shot classes. To do so, we propose to adapt existing feature extractors to instead produce sets of feature vectors from images. Our approach, dubbed SetFeat, embeds shallow self-attention mechanisms inside existing encoder architectures. The attention modules are lightweight, and as such our method results in encoders that have approximately the same number of parameters as their original versions. During training and inference, a set-to-set matching metric is used to perform image classification. The effectiveness of our proposed architecture and metrics is demonstrated via thorough experiments on standard few-shot datasets -- namely miniImageNet, tieredImageNet, and CUB -- in both the 1- and 5-shot scenarios. In all cases but one, our method outperforms the state-of-the-art.

研究の動機と目的

• より豊かで、より転移性の高い表現を得るために、単一の特徴ベクトルの代わりに画像を特徴ベクトルの集合として表現することで、少サンプル画像分類を向上させること。
• モデルサイズを著しく増加させることなく、既存の深層バックボーンが1枚の画像から複数の特徴ベクトルを抽出できるようにすること。
• 従来の重心ベースのマッチングを上回る、効果的な集合間距離メトリクスを設計すること。
• ゼロショットやクロスデータセットの少サンプル転移を含む、ドメイン間での一般化を示すこと。

提案手法

• 既存のエンコーダー構造（例：Conv4-64、ResNet12）に複数スケールの軽量自己注意モジュール（マッパー）を統合し、特徴ベクトルの集合を生成する。
• 各マッパーで分類損失を用いてネットワークを事前学習した後、プロトタイプネットワークに類似したエピソード学習を用いてメタ学習を行う。
• クエリ画像と新規クラスのサポートセットを比較するために、特に和-最小（sum-min）、ハウスドルフ（Hausdorff）など、集合間マッチングメトリクスを採用する。
• 2段階の訓練手順を採用：まず各マッパーでクロスエントロピー損失を用いた標準的な転移学習を行い、次に集合ベースの分類を用いたメタ学習を行う。
• 3つのバックボーン（Conv4-64、Conv4-256、ResNet12）を、グローバルプーリングをマッパーに基づく特徴集合抽出に置き換えることで変更する。
• 勾配のセンシティビティとt-SNE可視化を用いて、異なるマッパーが画像のどの領域に注目するか、および潜在空間でクラス構造をどのように保持するかを分析する。

Figure 1 : The schematic overview of the proposed set-feature extractor (SetFeat) and detail of a single attention-based mapper: (a) given an input $\mathbf{x}$ , SetFeat first extracts (convolutional) feature vectors $\mathbf{z}_{b}$ at each of its blocks, while at each block attention-based mapper

実験結果

リサーチクエスチョン

• RQ1 単一ベクトル表現と比較して、画像を特徴ベクトルの集合として表現することで、少サンプル一般化性能が向上するか？
• RQ2 既存のバックボーンに軽量な自己注意モジュールを挿入することで、モデルサイズを増加させずに特徴の多様性と転移性が向上するか？
• RQ3 集合間マッチングメトリクスは、少サンプル分類において従来の重心ベースのマッチングを上回る性能を発揮するか？
• RQ4 提案手法は、miniImageNetからCUBへのドメイン間転移において、どのように一般化するか？
• RQ5 個々のマッパーは、異なる画像領域に注目し、潜在空間でクラス構造を保持するように学習するか？

主な発見

• SetFeatは、1ショットおよび5ショット設定の両方で、miniImageNet、tieredImageNet、CUBのすべてのデータセットにおいて最先端の性能を達成し、ほぼすべてのケースで先行手法を上回った。
• miniImageNetでは、sum-minメトリクスを用いたSetFeat12が5ショット5クラス分類で82.71%の精度を達成し、以前の最先端（MixtFSLの82.04%）を0.67%上回った。
• 1ショット5クラス分類では、CUBでベースラインより1.83%、tieredImageNetで1.42%、miniImageNetで1.83%の向上を達成した。
• モデル効率を維持している：SetFeat12はパラメータ数が12.349Mであり、ResNet12の12.424Mに非常に近い。パラメータ増加は最小限に抑えられた。
• クロスドメイン評価では、miniImageNetで事前学習したSetFeat12 ∗ がCUBで67.85%の精度を達成し、2位となり、最良手法（MixtFSL）から0.92%以内の差で、優れた性能を示した。
• アブレーションスタディにより、sum-minメトリクスがハウスドルフや他の集合間メトリクスを常に上回ることが確認され、1ショット設定ではminiImageNetで1.11%、CUBで1.89%の向上が得られた。

Figure 2 : Illustration of 1-shot image classification using (a) three existing methods and (b) our approach with the sum-min metric. (a) Given a query and support, existing methods either directly match the query to support (ProtoNet (PN) [ 50 ] ), apply a single embedding function over both suppor