[論文レビュー] Meta-Dataset: A Dataset of Datasets for Learning to Learn from Few Examples

Eleni Triantafillou, Tyler Zhu+9 more|arXiv (Cornell University)|Mar 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 73

ひとこと要約

Meta-Datasetを紹介します。複数データセットから構築された大規模で多様な少数ショット学習のベンチマークを評価するため、メタ-learnerが新しいタスクと分布へどれだけ一般化できるかを測定します。データセット間でいくつかのメタ学習モデルとベースラインを比較します。

ABSTRACT

Few-shot classification refers to learning a classifier for new classes given only a few examples. While a plethora of models have emerged to tackle it, we find the procedure and datasets that are used to assess their progress lacking. To address this limitation, we propose Meta-Dataset: a new benchmark for training and evaluating models that is large-scale, consists of diverse datasets, and presents more realistic tasks. We experiment with popular baselines and meta-learners on Meta-Dataset, along with a competitive method that we propose. We analyze performance as a function of various characteristics of test tasks and examine the models' ability to leverage diverse training sources for improving their generalization. We also propose a new set of baselines for quantifying the benefit of meta-learning in Meta-Dataset. Our extensive experimentation has uncovered important research challenges and we hope to inspire work in these directions.

研究の動機と目的

• 複数の多様なデータセットを統合することで、現実的で大規模なfew-shot学習のベンチマークを提供する。
• 単一データ源と複数データ源で訓練した場合の、標準的なメタ学習モデルの性能を評価する。
• 事前訓練、メタ訓練、データの不均質さが、データセット間でのfew-shot一般化に与える影響を調査する。
• 推論とメタ訓練を分離する新しいベースラインを提案し、真のメタ学習効果を定量化する。

提案手法

• 10個のデータセットからMeta-Datasetを組み立て、様々なways、shots、クラス不均衡を含むエピソードを作成する。
• k-NN、Finetune、Matching Networks、Prototypical Networks、MAML、Relation Networks、fo-MAML、fo-Proto-MAML、そしてタスク特化層をPrototypical Network推論から初期化する新しいProto-MAML変種を含む複数のベースラインを実装する。
• ImageNetとOmniglotに対する階層認識サンプリングを用いて、異なるタスクの粒度を生み出す；クエリセットをクラスバランス化し、サポートセットを制約して現実的なfew-shotシナリオを模擬する。
• 二つの訓練 regimeの下でモデルを評価する：ImageNet (ILSVRC) のみで訓練する場合と全データセットで訓練する場合。評価はTraffic SignsとMSCOCOをテスト用として確保する。
• メタ学習の利点を埋め込み学習から独立して測定する非エピソード型推論ベースラインを導入する。

実験結果

リサーチクエスチョン

• RQ1 Meta-DatasetはOmniglotやmini-ImageNetよりも現実的で多様なfew-shot学習の評価を提供できるか？
• RQ2 メタ学習モデルは、単一データ源 vs. 異種データ源で訓練した場合にどう性能が変わるか？
• RQ3 事前訓練、メタ訓練、エピソード構成の違いが、データセット間の一般化にどのような影響を与えるか？
• RQ4 ImageNetの事前訓練ウェイトでメタ学習モデルを初期化することは、多様なデータセットでの性能を助けるか、それとも害になるか？
• RQ5 データが複数の異種データ源から来る場合、メタ学習には実際の利点があるのか？

主な発見

Test Source	k-NN	Finetune	MatchingNet	ProtoNet	fo-MAML	RelationNet	fo-Proto-MAML
ILSVRC	41.03	45.78	45.00	50.50	45.51	34.69	49.53
Omniglot	37.07	60.85	52.27	59.98	55.55	45.35	63.37
Aircraft	46.81	68.69	48.97	53.10	56.24	40.73	55.95
Birds	50.13	57.31	62.21	68.79	63.61	49.51	68.66
Textures	66.36	69.05	64.15	66.56	68.04	52.97	66.49
Quick Draw	32.06	42.60	42.87	48.96	43.96	43.30	51.52
Fungi	36.16	38.20	33.97	39.71	32.10	30.55	39.96
VGG Flower	83.10	85.51	80.13	85.27	81.74	68.76	87.15
Traffic Signs	44.59	66.79	47.80	47.12	50.93	33.67	48.83
MSCOCO	30.38	34.86	34.99	41.00	35.30	29.15	43.74
Avg. rank	5.7	2.9	4.65	2.65	3.7	6.55	1.85

• fo-Proto-MAMLはImageNetのみで訓練した場合に平均順位でトップを獲得する。
• Prototypical Networksも多くのデータセットで強い性能を示す。
• Finetune Baselineは複数の設定で依然として有力な競合となる。
• 全データセットで訓練することは一般的に非常に異なるデータセット（例：Omniglot、Quick Draw、Aircraft）には有益だが、すべてのテストセットで普遍的に性能を向上させるわけではない。
• メタ学習の利点はデータセットとテスト条件により異なり、推論のみのベースラインが時に完全なメタ学習者に匹敵することがあり、埋め込み学習からのメタ学習効果を分離する必要性を浮き彫りにしている。
• ImageNetの事前訓練ウェイトでメタ学習者を初期化することは自然画像データセットにはしばしば有効だが、OmniglotやQuick Drawのような高度に関連性の薄いデータセットでは害になることがある。