[論文レビュー] Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

Chelsea Finn, Pieter Abbeel+1 more|arXiv (Cornell University)|Mar 9, 2017

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 5,758

ひとこと要約

少数の勾配ステップで新しいタスクに迅速に適応するようモデルを訓練する、モデル非依存のメタ学習アルゴリズム（MAML）を定義。監督学習および強化学習領域で適用可能。

ABSTRACT

We propose an algorithm for meta-learning that is model-agnostic, in the sense that it is compatible with any model trained with gradient descent and applicable to a variety of different learning problems, including classification, regression, and reinforcement learning. The goal of meta-learning is to train a model on a variety of learning tasks, such that it can solve new learning tasks using only a small number of training samples. In our approach, the parameters of the model are explicitly trained such that a small number of gradient steps with a small amount of training data from a new task will produce good generalization performance on that task. In effect, our method trains the model to be easy to fine-tune. We demonstrate that this approach leads to state-of-the-art performance on two few-shot image classification benchmarks, produces good results on few-shot regression, and accelerates fine-tuning for policy gradient reinforcement learning with neural network policies.

研究の動機と目的

• 勾配法に基づくメタ学習アプローチを用いて、多様なタスク間での迅速な適応を動機づける。
• 勾配降下法で訓練された任意のモデルに適合する一般的なアルゴリズムを開発する。
• 小さな勾配更新で新しいタスクにおいて高い性能を発揮するようにモデルパラメータを訓練する。
• 少数ショットの回帰と分類での高速な適応と、強化学習の微調整を加速させることを示す。

提案手法

• 新しいタスクで1つまたは数回の勾配ステップで良好な性能が得られるよう、初期パラメータを最適化する MAML を提案する。
• 二レベル最適化を用いる：メタ目的は、更新後の性能を p(T) からサンプルされたタスクに対して評価する。
• 勾配更新を逆伝播してメタグラデントを計算する（2階微分を要する場合がある）; 一階近似について議論する。
• タスク固有のデータと損失を用いて、教師あり学習（分類と回帰）および強化学習へ適用。
• 多様なアーキテクチャ（全結合、畳み込み、リカレント）および損失タイプとの互換性を示す。
• SGDベースのメタ更新ルールと計算上の配慮に関する実用的な留意点を提供する。

実験結果

リサーチクエスチョン

• RQ1 MAML はドメインを跨いだ新しいタスクの高速学習を可能にできるか？
• RQ2 少数ショットの教師あり学習および強化学習において MAML は有効か？
• RQ3 学習済み初期値は、テスト時の追加の勾配ステップやデータで引き続き改善するか？

主な発見

• MAML は少数ショットの画像分類ベンチマーク（Omniglot および MiniImagenet）で最先端または競合的な結果を達成。
• MAML は少数ショット回帰で強力な性能を示し、未知のサイン波関数への迅速な一般化を実証。
• 強化学習では、MAML が新しいタスクへの方策微調整を加速し、標準的な事前学習のベースラインを上回る。
• MAML の一階近似は、完全な二階微分版とほぼ同等の性能を示し、計算速度を向上させる。
• この手法はモデルおよびタスクに依存しないため、微分可能な教師あり損失と微分不可能な RL 目的の両方に適用できる。