[論文レビュー] How to Train Your MAML to Excel in Few-Shot Classification

Han-Jia Ye, Wei‐Lun Chao|arXiv (Cornell University)|Jun 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 111被引用数 16

ひとこと要約

この論文では、多数の内側ループ勾配ステップを用い、すべてのクラスに対して共有重みベクトルを用いて置換不変性を強制することで、少数ショット分類を改善する修正されたMAMLアルゴリズム、unicorn-MAMLを提案する。本手法は、複雑さを追加せずに、Mini ImageNetおよびTiered ImageNetで最先端または競争力のある性能を達成し、多くの最近のアルゴリズムを上回りながらも、MAMLのシンプルさを保っている。

ABSTRACT

Model-agnostic meta-learning (MAML) is arguably one of the most popular meta-learning algorithms nowadays. Nevertheless, its performance on few-shot classification is far behind many recent algorithms dedicated to the problem. In this paper, we point out several key facets of how to train MAML to excel in few-shot classification. First, we find that MAML needs a large number of gradient steps in its inner loop update, which contradicts its common usage in few-shot classification. Second, we find that MAML is sensitive to the class label assignments during meta-testing. Concretely, MAML meta-trains the initialization of an $N$-way classifier. These $N$ ways, during meta-testing, then have "$N!$" different permutations to be paired with a few-shot task of $N$ novel classes. We find that these permutations lead to a huge variance of accuracy, making MAML unstable in few-shot classification. Third, we investigate several approaches to make MAML permutation-invariant, among which meta-training a single vector to initialize all the $N$ weight vectors in the classification head performs the best. On benchmark datasets like MiniImageNet and TieredImageNet, our approach, which we name UNICORN-MAML, performs on a par with or even outperforms many recent few-shot classification algorithms, without sacrificing MAML's simplicity.

研究の動機と目的

• 標準MAMLが強固な理論的基盤を持つにもかかわらず、少数ショット分類で性能を発揮しない理由を調査すること。
• メタテスト中にクラスラベルの置換によって引き起こされるMAMLの不安定性を解消すること。
• モデルに依存しないシンプルさを損なわず、複雑なサブネットワークを追加せずにMAMLの性能を向上させること。
• 特に内側ループステップ数を含む最適なハイパーパrameterを特定すること、少数ショット設定におけるMAMLの性能向上に寄与する。

提案手法

• 通常のMAMLとは対照的に、メタ学習とメタテストの両方で15〜20回の内側ループ勾配ステップを用いる。
• 分類ヘッドのすべてのN個のクラス固有の重みベクトルを初期化するために、一度だけ初期化される共有重みベクトルを導入し、置換不変性を強制する。
• この共有ベクトルはメタ学習中に最適化され、推論時のクラスラベルの順序に依存しないモデル初期化を実現する。
• 本手法はMAMLの二段階最適化フレームワークを維持するが、分類ヘッドの初期化をすべてのクラスに対して対称的になるように再定義する。
• ResNetバックボーンを用いて、Mini ImageNetおよびTiered ImageNetで評価を行い、ショット数とクロスデータセット一般化に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 なぜ強固なメタラーニング定式化を持つにもかかわらず、標準MAMLは少数ショット分類で性能を発揮しないのか？
• RQ2 内側ループ勾配ステップの数が、少数ショット設定におけるMAMLの性能にどのように影響するのか？
• RQ3 なぜMAMLはメタテスト中にクラスラベルの置換に対して感受的であり、その不安定性はどのように緩和できるのか？
• RQ4 置換不変初期化により、アーキテクチャの複雑さを加えずにMAMLの性能を向上させることができるのか？

主な発見

• Mini ImageNetおよびTiered ImageNetにおいて、MAMLは15〜20回の内側ループ勾配ステップで最高性能を発揮し、従来の研究で一般的に用いられる1〜5ステップよりも顕著に多い。
• 置換不変性を満たす手法の中で最高の性能を発揮するのはunicorn-MAMLであり、すべてのクラスヘッドを1つの共有重みベクトルで初期化する。
• 5クラス1ショット分類において、unicorn-MAMLはMini ImageNetで88.38%の正確度を達成し、標準MAML（88.08%）を上回り、ProtoNetやSimpleShotと同等または上回る。
• 5クラス50ショットタスクでは、unicorn-MAMLはMini ImageNetで92.86%の正確度に達し、標準MAML（92.14%）および既存のベースラインを上回る。
• クロスデータセット転送（Mini ImageNet → CUB）において、5ショットでunicorn-MAMLは75.67%の正確度を達成し、標準MAML（73.86%）およびProtoNet（72.02%）を上回る。