[論文レビュー] Embedding Adaptation is Still Needed for Few-Shot Learning

Sébastien M. R. Arnold, Fei Sha|arXiv (Cornell University)|Apr 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 67被引用数 5

ひとこと要約

本稿では、人間による意味的関係のラベル付けを必要とせず、制御された転送難易度をもつ少サンプル学習ベンチマークを生成するクラスタリングベースの手法である自動タスクセット生成（ATG）を提案する。ATGにより、少サンプル手法の体系的評価が可能となり、特に転送難易度が高くなると勾配ベースのモデル（例：Fine-tune）がメトリックベースのモデルを上回ることが明らかになった。これは、従来のメトリックベースモデルの優位性に関する仮説に挑戦する結果である。

ABSTRACT

Constructing new and more challenging tasksets is a fruitful methodology to analyse and understand few-shot classification methods. Unfortunately, existing approaches to building those tasksets are somewhat unsatisfactory: they either assume train and test task distributions to be identical -- which leads to overly optimistic evaluations -- or take a "worst-case" philosophy -- which typically requires additional human labor such as obtaining semantic class relationships. We propose ATG, a principled clustering method to defining train and test tasksets without additional human knowledge. ATG models train and test task distributions while requiring them to share a predefined amount of information. We empirically demonstrate the effectiveness of ATG in generating tasksets that are easier, in-between, or harder than existing benchmarks, including those that rely on semantic information. Finally, we leverage our generated tasksets to shed a new light on few-shot classification: gradient-based methods -- previously believed to underperform -- can outperform metric-based ones when transfer is most challenging.

研究の動機と目的

• 既存の少サンプルベンチマークが、同じ訓練／テストタスク分布を仮定することで楽観的な結果をもたらす（過剰に楽観的）こと、または高コストな人間による意味的関係のラベル付けを必要とすることという限界を解消すること。
• 外部知識に依存せずに、訓練タスクとテストタスク間の転送難易度を細かく制御できる手法を開発すること。
• 勾配ベースおよびメトリックベースの少サンプル学習手法の性能を、転送難易度のスケールにわたって実験的に評価すること。
• 転送が最も困難な状況において、勾配ベース手法の優れた性能を示すことで、メトリックベース手法が優れているという一般的な信念に挑戦すること。

提案手法

• ATGは、事前に定義された類似度レベルを満たすように、クラス埋め込みを訓練用およびテスト用タスクセットに分割するためのペナルティ付きクラスタリング目的関数を用いる。
• クラス埋め込みは、事前学習済みバックボーンネットワークを用いて、各クラスのすべての画像の特徴表現を平均することで算出される。
• 本手法は、クラスタの凝集性と2つの分布間の類似度のバランスを最適化するクラスタリング目的関数を用いて、訓練およびテストタスクの同時分布をモデル化する。
• クラスタリング目的関数におけるペナルティ項を調整することで、転送難易度が容易、中程度、困難なタスクセットを生成可能である。
• 本手法は完全に自動的であり、人間が構造化した意味的関係や追加のアノテーションを必要としない。
• ATGはCIFAR-100、mini-ImageNetなど標準的なデータセットに適用され、転送難易度が異なる5つの新しいタスクセットが生成された。

実験結果

リサーチクエスチョン

• RQ1 人間による意味的関係のラベル付けに依存せずに、制御された転送難易度をもつ少サンプル学習ベンチマークを生成できるか？
• RQ2 勾長基盤およびメトリック基盤の少サンプル学習手法は、転送難易度のスケールにわたってどのように性能を示すか？
• RQ3 転送が最も困難な状況において、少サンプル学習手法の性能順位は変化するか？
• RQ4 自動タスクセット生成は、勾長基盤手法が少サンプル学習においてこれまでに見過ごされていた強みを明らかにできるか？
• RQ5 メトリック基盤手法が少サンプル学習で優れているという仮定は、すべての転送難易度の領域で成立するか？

主な発見

• 転送が最も困難な状況では、勾長基盤手法（例：Fine-tune、MAML）がメトリック基盤手法（例：ProtoNet、ANIL）を顕著に上回り、EMNISTでは93.51%の精度を達成した。
• CIFAR-100ではFine-tuneが70.98%の精度を記録し、tiered-ImageNetでは83.57%を達成し、ProtoNetを10ポイント以上上回った。
• この結果は、固定された特徴抽出器を共有することが少サンプル学習に十分であるという一般的な信念に挑戦するものであり、転送が困難な状況では埋め込み関数の適応が極めて重要であることを示している。
• ATGは、意味的アノテーションを必要とせず、容易、中程度、困難な難易度のタスクセットを成功裏に生成できた。
• 本手法により、より現実的で多様なベンチマークが作成可能となり、モデルの性能が訓練とテストのタスク分布の類似度に極めて敏感であることが明らかになった。
• 最も困難な状況、すなわち訓練とテストタスク間に情報が共有されない状況では、埋め込み関数の勾長基盤の適応が高精度を達成するために不可欠であることが示された。