[論文レビュー] Are Few-Shot Learning Benchmarks too Simple ? Solving them without Task Supervision at Test-Time

Gabriel Huang, Hugo Larochelle+1 more|arXiv (Cornell University)|Feb 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 11

ひとこと要約

本論文は、テスト時ラベルを一切使用せずにサポートセットの埋め込みをクラスタリングすることで少サンプル学習ベンチマークを解くNLT（テスト時ラベルなし）ベースラインであるCentroid Networksを導入する。99.1%の正確度でOmniglotをテスト時ラベルなしで解けることが示され、現在のベンチマークが単純すぎる可能性があり、少サンプル手法を公平に評価するにはより困難でドメイン跨りのベンチマークの必要性が浮き彫りになる。

ABSTRACT

We show that several popular few-shot learning benchmarks can be solved with varying degrees of success without using support set Labels at Test-time (LT). To this end, we introduce a new baseline called Centroid Networks, a modification of Prototypical Networks in which the support set labels are hidden from the method at test-time and have to be recovered through clustering. A benchmark that can be solved perfectly without LT does not require proper task adaptation and is therefore inadequate for evaluating few-shot methods. In practice, most benchmarks cannot be solved perfectly without LT, but running our baseline on any new combinations of architectures and datasets gives insights on the baseline performance to be expected from leveraging a good representation, before any adaptation to the test-time labels.

研究の動機と目的

• 人気のある少サンプル学習ベンチマークが、実際のタスク適応を評価しているのか、それともテスト時ラベルなしでも解けるのかを調査すること。
• 表現学習とタスク固有の適応の両者のパフォーマンス向上要因を分離するシンプルなベースラインを開発すること。
• テスト時ラベルの監視なしに、優れた表現のみで達成可能なベースラインパフォーマンスを定量化すること。
• 一部のベンチマークが適切なタスク適応なしに解けることの例示により、現在のベンチマークの限界を浮き彫りにすること。
• 真の少サンプル一般化とラベルに基づく適応を要する、より困難でドメイン跨りのベンチマークの導入を提唱すること。

提案手法

• テスト時ラベルを非表示にし、クラスタリングによって再構成する、プロトタイプネットワークの変種であるCentroid Networksを提案する。
• Sinkhorn K-Meansを用いて、サポートセットの埋め込みをクラスグループにクラスタリングし、クラスタリングを微分可能な割り当て問題として扱う。
• 予測されたクラスタインデックスと真のクラスラベルを、置換不変性の下で正確度を最大化するように、ハンガリアン法でマッチングする。
• すべてのサポートセットおよびクエリセットを一度の順伝播で埋め込むことで、推論中に繰り返しラベルの最適化を行わない。
• 標準の少サンプル手法と同一のバックボーンネットワーク（例：ResNet-12）と学習手順を用い、公平な比較を確保する。
• 非伝達的予測に対しても同じ後処理パイプラインを適用し、ラベル監視なしに伝達的少サンプル学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Omniglot や miniImageNet といった人気のある少サンプル学習ベンチマークは、テスト時ラベルなしでも解けるのか？
• RQ2 これらのベンチマークでのパフォーマンスは、強力な表現力に起因するのか、それともテスト時ラベルを用いた実際のタスク適応に起因するのか？
• RQ3 NLTベースラインのパフォーマンスは、さまざまなベンチマークにおいて、最先端のLT（ラベル使用）手法と比べてどの程度か？
• RQ4 ドメイン跨りの少サンプルベンチマークは、同じドメインのものと比べて著しく難易度が高く、テスト時ラベル監視に依存しているのか？
• RQ5 クラスタリングに基づくNLT手法は、伝達的少サンプル学習および少サンプルクラスタリングタスクに効果的に適用できるのか？

主な発見

• Centroid Networksは、Omniglot 5-way/5-shotで99.1%、20-way/5-shotで98.1%のNLT正確度を達成し、ベンチマークがテスト時ラベルなしでも解けることを示した。
• miniImageNetでは、FEAT特徴量を用いた伝達的少サンプル学習で83.54%の正確度を達成し、非伝達的ベースラインを大きく上回り、最先端のLT手法に近い性能を示した。
• Omniglot-CCNでは、既存のCCN変種（83.3%）よりも100倍速く、よりシンプルな実装で86.8%の性能を達成した。
• ドメイン跨りベンチマーク（tiered-ImageNet や Meta-Dataset）ではNLT性能が著しく低く、真のタスク適応とラベルに基づく適応が必要であることが示され、より現実的で信頼性のある少サンプル手法の評価に適している。
• 結果から、サポートセットラベルはドメイン跨り少サンプル学習において、同じドメインのベンチマークよりもはるかに重要であることが確認され、評価におけるドメインシフトの重要性が浮き彫りになった。
• NLTベースラインは、表現学習のパフォーマンスとタスク適応のパフォーマンスを分離する強力な基準点を提供し、多くの現在のベンチマークが十分に困難ではない可能性を示唆している。