[論文レビュー] A Universal Representation Transformer Layer for Few-Shot Image Classification

Lu Liu, William L. Hamilton+3 more|arXiv (Cornell University)|Jun 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 55

ひとこと要約

URT は ユニバーサルなマルチドメイン backbone 表現をタスク適応表現へと変換するトランスフォーマー風の meta 学習法を提案し、few-shot 分類における Meta-Dataset で最先端を達成。

ABSTRACT

Few-shot classification aims to recognize unseen classes when presented with only a small number of samples. We consider the problem of multi-domain few-shot image classification, where unseen classes and examples come from diverse data sources. This problem has seen growing interest and has inspired the development of benchmarks such as Meta-Dataset. A key challenge in this multi-domain setting is to effectively integrate the feature representations from the diverse set of training domains. Here, we propose a Universal Representation Transformer (URT) layer, that meta-learns to leverage universal features for few-shot classification by dynamically re-weighting and composing the most appropriate domain-specific representations. In experiments, we show that URT sets a new state-of-the-art result on Meta-Dataset. Specifically, it achieves top-performance on the highest number of data sources compared to competing methods. We analyze variants of URT and present a visualization of the attention score heatmaps that sheds light on how the model performs cross-domain generalization. Our code is available at https://github.com/liulu112601/URT.

研究の動機と目的

• unseen クラスが多様なデータソースから来る multi-domain few-shot 分類の動機づけと課題設定。
• ユニバーサル表現を個別タスクへ適応させる学習可能な機構を、ドメイン特化バックボーン上の注意機構を介して提案。
• 手作業での特徴選択よりも backbone の組成をメタ学習することで、クロスドメイン一般化が改善されることを示す。
• Meta-Dataset での最先端性能を実証し、クロスドメイン重み付けを解釈するための注意パターンを分析。

提案手法

• Universal Representation Transformer (URT) 層を導入し、m 個の事前学習ドメインバックボーンをドット積自己注意で重み付けして結合。
• 各クラスをタスク内でのクラス別注意として表現し、クエリはクラスサポートセットから、キーはバックボーン表現から導出。
• 単一ヘッドおよびマルチヘッドURT の変種をサポートし、マルチヘッド出力は結合表現とし、注意ヘッドを多様化する正則化を導入。
• URT をエンドツーエンドで Prototypical Networks の損失で訓練し、適応表現空間内のクラスプロトタイプを用いてクエリを分類。
• URT 処理前に異なるベクトルノルムを考慮するため、バックボーン出力を正規化。
• FiLM でモジュレートされたバックボーン（pf バックボーン）と比較して URT の利点を示すことも選択肢として検討。

実験結果

リサーチクエスチョン

• RQ1 Transformer 型 URT 層は universal 表現を重み付け・合成する学習により、クロスドメインの few-shot 分類を改善できるか？
• RQ2 URT の注意ヘッドは Seen/Unseen ドメインに対して解釈可能なドメイン特化の重み付けを生み出すか？
• RQ3 URT の利得は異なるバックボーン訓練パラダイム（例: FiLM モジュール化バックボーン）を使用しても持続するか？

主な発見

ILSVRC	Omniglot	Aircraft	Birds	Textures	Draw	Fungi	Flower	Traffic Signs	MSCOCO	平均順位
MAML	37.8 ± 1.0	83.9 ± 1.0	76.4 ± 0.7	62.4 ± 1.1	64.1 ± 0.8	59.7 ± 1.1	33.5 ± 1.1	79.9 ± 0.8	42.9 ± 1.3	29.4 ± 1.1	8.0
ProtoNet	44.5 ± 1.1	79.6 ± 1.1	71.1 ± 0.9	67.0 ± 1.0	65.2 ± 0.8	64.9 ± 0.9	40.3 ± 1.1	86.9 ± 0.7	46.5 ± 1.0	39.9 ± 1.1	7.3
ProtoMAML	46.5 ± 1.1	82.7 ± 1.0	75.2 ± 0.8	69.9 ± 1.0	68.3 ± 0.8	66.8 ± 0.9	42.0 ± 1.2	88.7 ± 0.7	52.4 ± 1.1	41.7 ± 1.1	5.4
CNAPs	52.3 ± 1.0	88.4 ± 0.7	80.5 ± 0.6	72.2 ± 0.9	58.3 ± 0.7	72.5 ± 0.8	47.4 ± 1.0	86.0 ± 0.5	60.2 ± 0.9	42.6 ± 1.1	5.1
BOHB-E	55.4 ± 1.1	77.5 ± 1.1	60.9 ± 0.9	73.6 ± 0.8	72.8 ± 0.7	61.2 ± 0.9	44.5 ± 1.1	90.6 ± 0.6	57.5 ± 1.0	51.9 ± 1.0	4.4
TaskNorm	50.6 ± 1.1	90.7 ± 0.6	83.8 ± 0.6	74.6 ± 0.8	62.1 ± 0.7	74.8 ± 0.7	48.7 ± 1.0	89.6 ± 0.6	67.0 ± 0.7	43.4 ± 1.0	3.8
SUR	56.3 ± 1.1	93.1 ± 0.5	85.4 ± 0.7	71.4 ± 1.0	71.5 ± 0.8	81.3 ± 0.6	63.1 ± 1.0	82.8 ± 0.7	70.4 ± 0.8	52.4 ± 1.1	2.5
SimpleCNAPS	58.6 ± 1.1	91.7 ± 0.6	82.4 ± 0.7	74.9 ± 0.8	67.8 ± 0.8	77.7 ± 0.7	46.9 ± 1.0	90.7 ± 0.5	73.5 ± 0.7	46.2 ± 1.1	2.4
URT	55.7 ± 1.0	94.4 ± 0.4	85.8 ± 0.6	76.3 ± 0.8	71.8 ± 0.7	82.5 ± 0.6	63.5 ± 1.0	88.2 ± 0.6	69.4 ± 0.8	52.2 ± 1.1	1.6

• URT は Meta-Dataset における新しい最先端を確立し、競合手法の中でデータソース数が最も多い領域でトップの性能を達成。
• URT は SUR と比較して推論時間を10倍以上短縮（タスクあたり 0.04s vs 0.43s、V100）。
• 2 ヘッド URT は補完的な注意パターンを学習：片方のヘッドは同一ドメインバックボーンに焦点を当て、もう片方は関連ドメインをブレンドし、 unseen ドメインでは複数のバックボーンを混ぜて頑健性を確保。
• URT は SUR より複数のデータソースで性能向上を達成しつつ、他のデータソースでの性能低下を抑制。表1では URT が複数ソースで SUR を上回る。
• FiLM モジュール化バックボーン（URT-pf）は、SUR-pf よりも複数データセットで一般的に改善を示し、バックボーンファミリ全体での頑健性を示唆。
• アブレーション研究は、キーおよびサポートセット由来のクエリの重要性と、複数ヘッドの有用性を示す。