[論文レビュー] Adaptive Task Sampling for Meta-Learning

Chenghao Liu, Zhihao Wang+4 more|arXiv (Cornell University)|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 5

ひとこと要約

本稿では、メタラーニングにおける少数ショット分類の性能向上を目的として、クラスペアの潜在的要因に基づき、より情報量が多く困難なクラスペアを選択する、適応的タスクサンプリングを提案する。グリーディーなアルゴリズムを用いて、計算コストを抑えながら困難なタスクを効率的にサンプリングする。本手法は、訓練のオーバーヘッドをほとんど増加させることなく、複数のバックボーンおよびメタラーニングアルゴリズムで一貫した性能向上を達成する。

ABSTRACT

Meta-learning methods have been extensively studied and applied in computer vision, especially for few-shot classification tasks. The key idea of meta-learning for few-shot classification is to mimic the few-shot situations faced at test time by randomly sampling classes in meta-training data to construct few-shot tasks for episodic training. While a rich line of work focuses solely on how to extract meta-knowledge across tasks, we exploit the complementary problem on how to generate informative tasks. We argue that the randomly sampled tasks could be sub-optimal and uninformative (e.g., the task of classifying "dog" from "laptop" is often trivial) to the meta-learner. In this paper, we propose an adaptive task sampling method to improve the generalization performance. Unlike instance based sampling, task based sampling is much more challenging due to the implicit definition of the task in each episode. Therefore, we accordingly propose a greedy class-pair based sampling method, which selects difficult tasks according to class-pair potentials. We evaluate our adaptive task sampling method on two few-shot classification benchmarks, and it achieves consistent improvements across different feature backbones, meta-learning algorithms and datasets.

研究の動機と目的

• ランダムなタスクサンプリングの限界に対処すること。これは、しばしば自明または情報のないタスクを生成する。
• クラス間の内在的関係を活用することで、より困難で情報量の多い少数ショットタスクを形成し、メタラーナーの一般化性能を向上させること。
• 計算コストが著しく増加しない範囲で、複雑なクラス間関係を捉える効率的なサンプリング戦略を開発すること。
• 異なるメタラーニングアルゴリズムおよび特徴抽出バックボーンに広く適用可能であるようにすること。

提案手法

• 本手法は、クラスペアの潜在的要因を用いてタスクの難易度を定義する。これは、特徴埋め込みに基づき、あるクラスを別のクラスと区別する難易度を定量化する。
• これらの潜在的要因を用いて、すべての可能な K ワイズクラスコンビネーションに対する非グリーディーなタスクサンプリング分布を定式化する。
• グリーディーな近似を導入し、O(K) 時間で最も情報量の多いクラスペアを効率的に選択する。この方法は、完全な分布と同等の性能を維持する。
• グリーディーなアプローチは、反復的に潜在的要因が最大のクラスペアを選択し、冗長性を避けるために潜在的要因を動的に更新する。
• 本手法は、メトリックベース（例：プロトタイプネットワーク）および最適化ベースのアプローチを含む、任意のエピソード型メタラーニングフレームワークと互換性を持つ。
• クラスペアの潜在的要因は、クラスプロトタイプ間のコサイン類似度を用いて計算され、訓練中に更新される。

実験結果

リサーチクエスチョン

• RQ1 クラスペアの関係に基づく適応的タスクサンプリングは、ランダムサンプリングを上回るメタラーニングの一般化性能を向上させることができるか？
• RQ2 個々のクラスの難易度ではなく、クラス間関係に依存するタスク難易度を、効果的にモデル化する方法は何か？
• RQ3 計算コストが許容範囲内に保たれる範囲で、最適なタスク分布を近似できる効率的なグリーディーなサンプリング戦略は可能か？
• RQ4 適応的サンプリングは、多様なメタラーニングアルゴリズムおよび特徴抽出バックボーンにおいて一貫した性能向上をもたらすか？

主な発見

• 提案されたグリーディークラスペア（gcp）サンプリング手法は、CIFAR-FS や mini-ImageNet を含む複数の少数ショットベンチマークで一貫した精度向上を達成した。
• プロトタイプネットワークを用いた CIFAR-FS では、gcp-サンプリングにより、さまざまなショット設定でランダムサンプリングに比べて最大 2.1% の精度向上が達成された。
• 訓練時間はランダムサンプリングと同等の水準を維持しており、最大で 1.2 倍のオーバーヘッドにとどまり、高ワイス設定（20-way-1-shot）でも同様であった。
• 可視化結果から、gcp-サンプリングは視覚的および意味的に類似したクラス（例：小型の動物）を好むことが確認された。これらは区別が困難であり、したがってメタラーニングにとってより情報量が多い。
• クラスペアの潜在的要因行列から、gcp-サンプリングは相関重みが高いため、より困難な組み合わせのサンプリング確率が高くなる傾向にあることが示された。
• クラスペアの潜在的要因をサンプリングする際のハードクラス戦略は、常に最良の性能を示し、ランダムまたは簡単なクラスのサンプリングを上回った。