[論文レビュー] How to train your MAML

Antreas Antoniou, Harrison Edwards+1 more|arXiv (Cornell University)|Oct 22, 2018

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 83

ひとこと要約

この論文は MAML++ を導入します。MAML の強化版で、訓練を安定化させ、計算を削減し、汎化を改善し、標準的な few-shot ベンチマーク（Omniglot および Mini-ImageNet）で最先端の結果を達成します。

ABSTRACT

The field of few-shot learning has recently seen substantial advancements. Most of these advancements came from casting few-shot learning as a meta-learning problem. Model Agnostic Meta Learning or MAML is currently one of the best approaches for few-shot learning via meta-learning. MAML is simple, elegant and very powerful, however, it has a variety of issues, such as being very sensitive to neural network architectures, often leading to instability during training, requiring arduous hyperparameter searches to stabilize training and achieve high generalization and being very computationally expensive at both training and inference times. In this paper, we propose various modifications to MAML that not only stabilize the system, but also substantially improve the generalization performance, convergence speed and computational overhead of MAML, which we call MAML++.

研究の動機と目的

• 少数のデータで堅牢な few-shot 学習と迅速な適応の必要性を動機づける。
• MAML の安定性、一般化能力、計算ボトルネックを特定する。
• これらの問題に対処するためのアーキテクチャ的およびアルゴリズム的改善を提案する。
• 標準的な few-shot ベンチマークでの性能と効率の向上を実証する。

提案手法

• 訓練を安定化させ性能を高めるための6つのターゲットを絞った改善を MAML に拡張する。
• 各 inner-loop ステップで勾配を提供するマルチステップ損失最適化（MSL）を導入する。
• 訓練中に勾配の1次・2次を切り替える導関数順序のアニーリングを適用する。
• 内側のステップ間で共有統計を置換するために、各ステップのバッチ正規化の実行統計を使用する。
• 変化する特徴分布に合わせて各ステップのバッチ正規化の重みとバイアスを適用する。
• オーバーヘッドを抑えつつ適応性を高めるために、層ごと・ステップごとの学習率と勾配方向を導入する。
• ハイパーパラメータ探索を避けるために、メタオプティマイザの学習率にコサインアニーリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 MAML の不安定さと高い計算オーバーヘッドを一般化を損なうことなく緩和できるか。
• RQ2 一連のターゲットを絞ったアーキテクチャと最適化の変更は、より良い安定性、より速い収束、改善された few-shot 精度を生み出すか。
• RQ3 改訂された MAML フレームワークで Omniglot および Mini-ImageNet で最先端の結果を達成できるか。
• RQ4 各ステップごとの統計、層ごとに学習率を学習させること、学習率スケジューリングがタスク間のメタ学習性能にどのような影響を与えるか。

主な発見

• MAML++ は seeds やアーキテクチャを超えて訓練を安定化させ、元の MAML と比較して収束が速く、汎化が高い。
• 提案されたマルチステップ損失とアニーリング戦略は勾配伝播と最終性能を改善する。
• 各ステップのバッチ正規化統計と各ステップのバイアスは収束速度と一般化を改善する。
• 層ごと・ステップごとの学習率と勾配方向を学習させることは、オーバーヘッドを抑えつつ柔軟性を提供する。
• コサインアニーリングされたメタオプティマイザの学習率は、広範なハイパーパラメータ探索の必要性を低減しつつ性能を維持する。
• Omniglot および Mini-Imagenet における経験的結果は、MAML++ が最先端の性能を達成し、いくつかの設定で従来手法を上回ることを示している。