[論文レビュー] Multi-level Metric Learning for Few-shot Image Recognition

Haoxing Chen, Huaxiong Li+2 more|arXiv (Cornell University)|Mar 21, 2021

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、画素レベル、部品レベル、グローバルレベルの特徴における類似度を同時に計算することで、少数ショット画像認識を向上させるマルチレベルメトリック学習（MML）フレームワークを提案する。タスク固有の部品特徴を抽出するための部品レベル埋め込み適応とグラフ（PEAG）モジュールを統合し、マルチレベルメトリックを組み合わせることで、miniImageNet（5-way 5-shotで81.41％）およびFC100（5-way 5-shotで59.56％）で最先端の精度を達成し、従来の単一レベルメトリック手法を最大8.0％の差で上回った。

ABSTRACT

Few-shot learning is devoted to training a model on few samples. Most of these approaches learn a model based on a pixel-level or global-level feature representation. However, using global features may lose local information, and using pixel-level features may lose the contextual semantics of the image. Moreover, such works can only measure the relations between them on a single level, which is not comprehensive and effective. And if query images can simultaneously be well classified via three distinct level similarity metrics, the query images within a class can be more tightly distributed in a smaller feature space, generating more discriminative feature maps. Motivated by this, we propose a novel Part-level Embedding Adaptation with Graph (PEAG) method to generate task-specific features. Moreover, a Multi-level Metric Learning (MML) method is proposed, which not only calculates the pixel-level similarity but also considers the similarity of part-level features and global-level features. Extensive experiments on popular few-shot image recognition datasets prove the effectiveness of our method compared with the state-of-the-art methods. Our code is available at \url{https://github.com/chenhaoxing/M2L}.

研究の動機と目的

• 少数ショット学習における単一レベル特徴表現の限界を解決する。これは、局所的詳細（画素レベル）を失うか、文脈的意味（グローバルレベル）を失うことがある。
• 画素、部品、グローバルの3レベルにおける意味的類似度を捉えることで、判別性の高い特徴学習を向上させる。
• 補完的なマルチレベルメトリックを用いて、クエリ画像がクラス固有の特徴空間内で密にクラスタリングされるような手法を開発する。
• 単一メトリックアプローチの一般化失敗を克服するため、複数レベルの類似度測定を統合して、堅牢な分類を実現する。

提案手法

• パッチベースの部品レベル特徴を抽出し、部品間の相互作用をモデル化してタスク固有の表現を生成するため、部品レベル埋め込み適応とグラフ（PEAG）を提案する。これには、グラフ畳み込みネットワーク（GCN）を用いる。
• 画素レベル（局所的記述子を介して）、部品レベル（PEAG特徴を介して）、グローバルレベル（画像レベルの埋め込みを介して）の3レベルで類似度スコアを同時に計算するマルチレベルメトリック学習（MML）モジュールを設計する。
• 3つの類似度スコアを学習可能な重み（α, β, γ）を用いて統合し、分類に適した一貫性があり、判別性の高い特徴空間を構築する。
• マルチレベル類似度の重み付き統合に基づいて、最近傍マッチングモジュールを用いてクエリ画像を分類する。
• 1エポックあたり200のサンプルタスクを用いてメタラーニングでモデルをエンドツーエンドに訓練し、10エポックごとに周囲率を減衰させる。
• 少数ショットタスクでのメタトレーニングの前に、MLPを用いてResNet-12の特徴抽出器を事前学習する。

実験結果

リサーチクエスチョン

• RQ1 画素レベル、部品レベル、グローバルレベルの特徴表現を統合することで、少数ショット画像認識におけるより判別性が高く、頑健な特徴埋め込みが得られるか？
• RQ2 低データ環境下において、マルチレベルメトリック学習は単一レベルメトリック学習に比べて一般化性能が向上するか？
• RQ3 グラフベースのモデリングによって強化された部品レベル特徴は、類似度測定および分類精度にどのように寄与するか？
• RQ4 各レベル（画素、部品、グローバル）が最終的な性能に果たす相対的寄与度は何か？また、3つのレベルを統合することが最適か？
• RQ5 学習可能な統合メカニズムを用いたマルチレベルメトリックは、固定または単一レベルの類似度関数に比べて、少数ショット学習で優れた性能を発揮するか？

主な発見

• MMLは、5-way 5-shotのmini-ImageNetベンチマークで81.41％の精度を達成し、プロトタイプネットワーク（73.41％）およびDSN-MR（73.41％）をそれぞれ8.0ポイント、8.0ポイントの差で上回った。
• FC100では、5-way 5-shot設定下で59.56％の精度を達成し、前回の最先端手法を3.5ポイント上回った。
• アブレーションスタディにより、画素、部品、グローバルの3つのレベルすべてが不可欠であることが確認された。いずれか1つのレベルを削除すると顕著な性能低下が生じ、単一レベル手法は最大5.4％の性能低下を示した。
• PEAGモジュール単体でも、mini-ImageNet（5-way 1-shot）で74.27％の精度を達成し、FEAT（73.47％）およびGLoFA（72.49％）をそれぞれ0.8ポイント、1.8ポイント上回った。
• 最適なハイパーパrameter（α, β, γ）は極めて重要である。不適切な値は性能を低下させるため、マルチレベルメトリックのバランスの取れた統合が不可欠であることが示された。
• mini-ImageNetでは、5-way 1-shot設定で75.28％、5-way 5-shot設定で85.95％の精度を達成し、ショット数の変動にわたる強い一般化性能を示した。