[論文レビュー] Few-Shot Learning via Embedding Adaptation with Set-to-Set Functions

Han-Jia Ye, Hexiang Hu+2 more|arXiv (Cornell University)|Dec 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 63被引用数 81

ひとこと要約

本論文は、集合-to-集合関数を用いた少数ショット学習のためのタスク特異的埋め込み適応を提案しており、最終モデルとしてTransformerベースのFEATを用いることで、複数のベンチマークおよび拡張設定で最先端の結果を達成する。

ABSTRACT

Learning with limited data is a key challenge for visual recognition. Many few-shot learning methods address this challenge by learning an instance embedding function from seen classes and apply the function to instances from unseen classes with limited labels. This style of transfer learning is task-agnostic: the embedding function is not learned optimally discriminative with respect to the unseen classes, where discerning among them leads to the target task. In this paper, we propose a novel approach to adapt the instance embeddings to the target classification task with a set-to-set function, yielding embeddings that are task-specific and are discriminative. We empirically investigated various instantiations of such set-to-set functions and observed the Transformer is most effective -- as it naturally satisfies key properties of our desired model. We denote this model as FEAT (few-shot embedding adaptation w/ Transformer) and validate it on both the standard few-shot classification benchmark and four extended few-shot learning settings with essential use cases, i.e., cross-domain, transductive, generalized few-shot learning, and low-shot learning. It archived consistent improvements over baseline models as well as previous methods and established the new state-of-the-art results on two benchmarks.

研究の動機と目的

• 少数ショット学習におけるタスク非依存の埋め込みが、未知タスクには異なる識別特徴を必要とする場合に制約となることを動機づける。
• 各ターゲットタスクに合わせた埋め込みを作成するための集合-to-集合関数によるモデルベースの埋め込み適応を提案する。
• Transformerベースの適応（FEAT）が、標準的および拡張したFSL設定全体で他の実装およびベースラインより優れていることを示す。
• タスク間の補間/外挿の分析を提供し、FEATのパラメータ効率を実証する。

提案手法

• タスク内の全ての訓練インスタンスに対して、生の埋め込みphi_xから適応埋め込みpsi_xを出力する集合-to-集合変換Tを導入する（順列不変）。
• Tを複数のアーキテクチャ（Bi-LSTM、DeepSets、GCN、Transformer）で具体化し、タスク適応の有効性を比較する。
• 適応埋め込みpsi_xとテスト埋め込みphi_xを用いた最近傍分類を少数ショットタスクで行う。
• クラス中心に適応埋め込みを揃え、クラス内の凝縮性を促進しつつ他クラスとの分離を維持するコントラスト損失を適用する。
• seenクラス上で追加の分類段階を用いてバックボーンを事前訓練し、合成されたN-shotタスクでメタラーニングを用いて微調整する。
• FEAT（TransformerベースのT）をMini/ImageNetおよびTiered ImageNetでベースラインと比較し、クロスドメイン、トランスダクティブ、一般化FSL設定を含む実証評価を行う。

実験結果

リサーチクエスチョン

• RQ1 タスク特異的埋め込み適応は、タスク非依存の埋め込みより少数ショット学習の性能を向上させうるか？
• RQ2 どの集合-to-集合の実装が、特定のターゲットタスクに対して最も効果的に埋め込みを文脈づけるか？
• RQ3 Transformerベースの適応は、他の方法と比べて性能、順列不変性、補間/外挿能力で優れているか？
• RQ4 FEATはクロスドメイン一般化、トランスダクティブFSL、一般化/FSLなどの拡張FSL設定でどのように性能を示すか？
• RQ5 適応メカニズムがパラメータ効率的でありつつ強い経験的利得を提供するか？

主な発見

• FEAT（Transformerベースの集合-to-集合適応）は標準FSLベンチマーク全体でProtoNetおよび他の埋め込み適応バリアントを一貫して上回る。
• FEATはMini ImageNetで最先端の結果を達成し、ResNetバックボーン下でTiered ImageNetでも強力で一貫した利得を示す。
• 実装の中では、BiLSTMは順列不変性の欠如により多くの場合で性能が低下する一方、DeepSetsとGCNは有効である可能性があるが、FEATほど一貫して効果的ではない。
• FEATはクラス数（ways）を変えた場合の補間・外挿能力が高く、パラメータ効率も高い。
• 拡張タスクでは、FEATは少数ショットのドメイン一般化、トランスダクティブFSL、一般化FSLの設定でベースラインを上回る。