[論文レビュー] Comparing Transfer and Meta Learning Approaches on a Unified Few-Shot Classification Benchmark

Vincent Dumoulin, Neil Houlsby+5 more|arXiv (Cornell University)|Apr 6, 2021

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、VTABとMeta-Datasetを統合した包括的少サンプル分類ベンチマークであるVTAB+MDを提案し、転移学習とメタラーニングのアプローチを直接比較可能にする。実験では、BiT-Lのような大規模な転移学習モデルが、両ベンチマークにおいて最先端のメタラーナーを上回ることを示し、特に分布外タスクにおいて顕著な優位性を示す。これは、スケールとデータの多様性の重要性を浮き彫りにするとともに、メタラーニングの一般化性能と実装上の制約の限界を明らかにする。

ABSTRACT

Meta and transfer learning are two successful families of approaches to few-shot learning. Despite highly related goals, state-of-the-art advances in each family are measured largely in isolation of each other. As a result of diverging evaluation norms, a direct or thorough comparison of different approaches is challenging. To bridge this gap, we perform a cross-family study of the best transfer and meta learners on both a large-scale meta-learning benchmark (Meta-Dataset, MD), and a transfer learning benchmark (Visual Task Adaptation Benchmark, VTAB). We find that, on average, large-scale transfer methods (Big Transfer, BiT) outperform competing approaches on MD, even when trained only on ImageNet. In contrast, meta-learning approaches struggle to compete on VTAB when trained and validated on MD. However, BiT is not without limitations, and pushing for scale does not improve performance on highly out-of-distribution MD tasks. In performing this study, we reveal a number of discrepancies in evaluation norms and study some of these in light of the performance gap. We hope that this work facilitates sharing of insights from each community, and accelerates progress on few-shot learning.

研究の動機と目的

• 転移学習とメタラーニングのコミュニティ間の評価ギャップを埋めるために、共通のベンチマークを構築すること。
• 両分野の最先端手法を、共通の少サンプル分類プロトコル上で直接比較可能にする。
• 一方の分野の進展が、他方の分野に一般化するかどうか、特に分布シフト下での一般化を調査すること。
• モデルスケール、データ、正規化、解像度の影響が少サンプル一般化性能に与える影響を分析すること。
• メタラーニングの一般化性能と実装スケーラビリティにおける限界を特定すること。

提案手法

• 著者らは、Visual Task Adaptation Benchmark (VTAB) と Meta-Dataset (MD) を統合し、VTAB+MD と呼ばれる包括的評価プロトコルを構築した。
• 同じ少サンプル分類プロトコルを用いて、最先端の転移学習モデル（例：BiT-L）とメタラーナー（例：CTX）を、両ベンチマークで評価した。
• ネットワーク容量、入力解像度、正規化層（GNWS 対 BN）、上流学習データ（ImageNet, ImageNet-21k, JFT）を変化させた、BiT-L におけるアブレーションスタディを実施した。
• データの重複除去とクラス削除のアブレーションを実施し、ドメインカバレッジとデータ量の両者が性能に与える影響を評価した。
• MD の多様なデータソース（例：Omniglot, QuickDraw, Traffic Sign）を用いてモデル性能を比較し、分布シフトの影響を検証した。
• グループ正規化と重み標準化（GNWS）のような正規化戦略の、少サンプル一般化に対するロバスト性を分析した。

実験結果

リサーチクエスチョン

• RQ1 大規模な転移学習が、包括的少サンプル分類ベンチマーク上でメタラーニングを上回るのか？
• RQ2 モデルスケール、入力解像度、正規化戦略が、多様な少サンプルタスクにおいて性能に与える影響は？
• RQ3 データの多様性と上流ドメインカバレッジが、単なるデータ量よりも、少サンプル一般化性能にどれほど寄与するのか？
• RQ4 なぜメタラーナーは分布外タスクに一般化しにくく、MD で学習したが VTAB で評価された場合に特に困難を示すのか？
• RQ5 メタラーニングにおける実装上の制約が、大規模バックボーンや高解像度入力を効果的に活用できない原因となっているのか？

主な発見

• BiT-L は包括的 VTAB+MD ベンチマークで最先端の性能を達成し、MD および VTAB の両方で競合するメタラーナーを上回った。
• MD-v2 において、ImageNet で学習した BiT-L は CTX より平均正解率が 1.69% 高く、特にすでに高い性能を示していたデータソースで改善が顕著だった。
• Omniglot や QuickDraw のような高度に分布外のタスクでは、モデルサイズや解像度の増加が性能向上に寄与せず、むしろ劣化を引き起こすこともあった。
• BiT-L の GNWS 正規化をバッチ正規化に置き換えても、MD-v2 のすべてのソースで性能が一貫して低下した。これは GNWS が少サンプル一般化に不可欠であることを示している。
• JFT で学習しても、性能が一様に向上するとは限らず、Traffic Sign では ImageNet が ImageNet-21k や JFT を上回った。これは、データ分布がスケール単体よりも重要であることを示している。
• JFT データのうち航空機や鳥関連の 0.002% のみを削除しても、BiT-L の性能が著しく低下した。これは、ドメインカバレッジがデータ量よりも重要であることを実証している。