[論文レビュー] TADAM: Task dependent adaptive metric for improved few-shot learning

Boris N. Oreshkin, Pau Rodríguez+1 more|arXiv (Cornell University)|May 23, 2018

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 199

ひとこと要約

TADAMは metric scaling と補助的共訓練を用いたタスク条件適応メトリック空間を導入し、mini-Imagenet における few-shot 分類で最新の性能を達成する。

ABSTRACT

Few-shot learning has become essential for producing models that generalize from few examples. In this work, we identify that metric scaling and metric task conditioning are important to improve the performance of few-shot algorithms. Our analysis reveals that simple metric scaling completely changes the nature of few-shot algorithm parameter updates. Metric scaling provides improvements up to 14% in accuracy for certain metrics on the mini-Imagenet 5-way 5-shot classification task. We further propose a simple and effective way of conditioning a learner on the task sample set, resulting in learning a task-dependent metric space. Moreover, we propose and empirically test a practical end-to-end optimization procedure based on auxiliary task co-training to learn a task-dependent metric space. The resulting few-shot learning model based on the task-dependent scaled metric achieves state of the art on mini-Imagenet. We confirm these results on another few-shot dataset that we introduce in this paper based on CIFAR100. Our code is publicly available at https://github.com/ElementAI/TADAM.

研究の動機と目的

• metric scaling が few-shot 学習における最適化と性能にどう影響するかを調査する。
• タスク条件付き特徴抽出器を開発し、タスク依存のメトリックスペースを形成する。
• 補助的共訓練を用いたエンドツーエンド訓練を可能にし、一般化を向上させる。
• 画像分類の難しい few-shot データセットでの改善を実証する。

提案手法

• softmaxベースの分類において距離指標をスケールする学習可能な温度パラメータ alpha を導入する。
• alpha による勾配挙動の理論を示し、2つのレジーム (alpha -> 0 および alpha -> infinity) と更新への影響を特定する。
• タスク埋め込みネットワークを介して特徴抽出器をタスク表現で条件づけ、層ごとに gamma と beta を予測する（FILM/条件付きバッチ正規化スタイルで）。
• 平均クラスプロトタイプをタスク表現として用い、タスク条件付きパラメータを生成する。
• 訓練を安定化させ一般化を向上させるために補助タスク共訓練を適用し、補助タスクの確率をアニーリングする。
• mini-Imagenet および新しい FC100 ベースの Fewshot-CIFAR100 データセットで ResNet-12 バックボーンを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 メトリックスケーリングは異なる距離指標（例：ユークリッド、コサイン）全体で few-shot 分類の性能を改善するか。
• RQ2 タスク条件付けは few-shot タスクの学習メトリック空間を改善できるか、ネットワーク内のどこで最も効果的か。
• RQ3 補助的共訓練はタスク条件付きモデルの効果的な学習を助けるか。
• RQ4 スケーリングパラメータ alpha が学習ダイナミクスと最終精度に与える影響は何か。

主な発見

• スケーリングされた類似度指標は非スケーリングの指標と同等またはそれを上回ることができ、いくつかの設定でベースラインより最大で14ポイントの改善を達成する。
• 提案されたタスク条件付きメトリック空間は mini-Imagenet の 5-way 5-shot で最新記録（76.7% 精度）を達成し、以前の最先端をさらに4.8ポイント上回る。
• 最適な α は2つの漸近的レジームの間に位置し、データセットを跨いで一貫して性能を改善する α の値が存在する。α は検証セットでクロスバリデーションできる。
• タスク条件付け（TEN と FILM-スタイルのパラメータ生成）のみでは不十分で、補助的共訓練が TEN と特徴抽出器の効果的な共同学習を可能にするうえで決定的に重要。
• mini-Imagenet では、スケーリングされたユークリッド距離と TEN を用いて 1-shot 58.5%、5-shot 76.7%、10-shot 80.8% を達成。
• この手法は FC100 ベースの Fewshot-CIFAR100 にも一般化し、関連するプロトタイプ法より顕著な利得を示す。