[論文レビュー] Few-Shot Learning Through an Information Retrieval Lens

Eleni Triantafillou, Richard S. Zemel+1 more|arXiv (Cornell University)|Jul 9, 2017

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 66

ひとこと要約

この論文は few-shot 学習を情報検索タスクとして再定義し、SSVM または Direct Loss Minimization を用いて全バッチのランキングに対する mean Average Precision (mAP) を最大化する訓練を行い、競争力のある few-shot 分類を達成し、新しい few-shot retrieval 設定を導入する。

ABSTRACT

Few-shot learning refers to understanding new concepts from only a few examples. We propose an information retrieval-inspired approach for this problem that is motivated by the increased importance of maximally leveraging all the available information in this low-data regime. We define a training objective that aims to extract as much information as possible from each training batch by effectively optimizing over all relative orderings of the batch points simultaneously. In particular, we view each batch point as a `query' that ranks the remaining ones based on its predicted relevance to them and we define a model within the framework of structured prediction to optimize mean Average Precision over these rankings. Our method achieves impressive results on the standard few-shot classification benchmarks while is also capable of few-shot retrieval.

研究の動機と目的

• モチベーション: 少数のラベル付き例から新しい概念を学び、バッチ情報を最大限に活用する方法。
• ゴール: few-shot 学習をバッチポイント間のランキングとして定式化し、mAP を最大化する。
• アプローチ: SSVM と Direct Loss Minimization を用いて、各訓練バッチ内の相対的な順序を全て最適化する。
• 拡張: 未知クラスからのクエリが関連性で候補をランク付けする few-shot retrieval タスクを導入する。

提案手法

• 各バッチのメンバーを、予測された関連性に基づいて他のバッチポイントをランキングするクエリとして表現する。
• 構造化予測フレームワークを採用し、mean Average Precision (mAP) を最適化する。
• 2つの最適化変種を使用: Structural SVM (SSVM) と Direct Loss Minimization (DLM)。
• コサイン類似度に基づく埋め込み関数 f(x,w) とペアワイズスコア付け関数 φ(xi,xj,w) を定義する。
• AP 最適化をバッチごとのマルチクエリ設定に拡張し、各バッチが独立に全体の mAP 目的関数に寄与するようにする。
• 過去の AP 最適化研究に触発された動的計画法アプローチによる損失付加推論を提供する。

実験結果

リサーチクエスチョン

• RQ1 バッチ設定で mAP という情報検索の目的を効果的に最適化できるか。
• RQ2 バッチ内の全体の相対順序を最適化することで few-shot 分類性能は競争力を持つか。
• RQ3 同じフレームワークが unseen クラスからのクエリを含む新しい few-shot retrieval タスクをサポートできるか。
• RQ4 この目的のための SSVM と Direct Loss Minimization の実務上のトレードオフは何か。

主な発見

• 提案された mAP ベースの訓練目的は、標準的な few-shot 分類ベンチマークで競争力のある成果を生む。
• この手法は、強力なベースラインと競争力のあるパフォーマンスを持つ新しい few-shot retrieval タスクをサポートする。
• 各バッチ内の全 Relative ordering を最適化することは、各クエリのランキングを並列に分解することで効率的に実現できる。
• mAP-DLM と mAP-SSVM は評価されたベンチマークで類似のパフォーマンスを示し、訓練の効率性における利点が一部の設定で観察された。
• 本手法は強力な全ペア Siamese ベースラインと比較して、データ不足領域での学習速度と効率性が向上する。