[論文レビュー] On First-Order Meta-Learning Algorithms

Alex Nichol, Joshua Achiam+1 more|arXiv (Cornell University)|Mar 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 544

ひとこと要約

論文はファーストオーダーメタ学習法を分析し、迅速適応の初期化を学習するための Reptile を導入し、これらのファーストオーダー法が少数ショットタスクにおいて second-order MAML のバリアントと同等かそれを上回ることを理論的・実証的に示している。

ABSTRACT

This paper considers meta-learning problems, where there is a distribution of tasks, and we would like to obtain an agent that performs well (i.e., learns quickly) when presented with a previously unseen task sampled from this distribution. We analyze a family of algorithms for learning a parameter initialization that can be fine-tuned quickly on a new task, using only first-order derivatives for the meta-learning updates. This family includes and generalizes first-order MAML, an approximation to MAML obtained by ignoring second-order derivatives. It also includes Reptile, a new algorithm that we introduce here, which works by repeatedly sampling a task, training on it, and moving the initialization towards the trained weights on that task. We expand on the results from Finn et al. showing that first-order meta-learning algorithms perform well on some well-established benchmarks for few-shot classification, and we provide theoretical analysis aimed at understanding why these algorithms work.

研究の動機と目的

• タスクの分布の下でメタ学習を動機づけ、未見のタスクで迅速な適応を可能にする初期化を追求する。
• ファーストオーダーのメタ学習法を MAML と比較・分析し、実装の単純さと性能を強調する。
• 新しいファーストオーダーアルゴリズム（Reptile）を導入し、joint training および fast weights の概念と関連づける。
• なぜファーストオーダー更新がタスク内およびミニバッチ間で一般化できるのかについて理論的洞察を提供する。

提案手法

• MAML の目的関数と、その二次微分項をメタ勾配から無視して近似した第一オーダー variante（FOMAML）を説明する。
• 初期化をタスク固有の訓練済み重みへと更新する第一オーダーアルゴリズム Reptile を導入し、直列および並列（バッチ処理）バージョンを示す。
• Reptile の更新は、初期化をタスク訓練済み重みの加重平均へ向けて動かすとみなせ、joint training に補正項を加えたものと同様であることを示す。
• Taylor 展開に基づく分析を提供し、g_MAML、g_FOMAML、g_Reptile を比較し、AvgGrad および AvgGradInner の成分を強調する。
• 1 次元正弦波回帰のケーススタディを取り上げ、ファーストオーダー法がなぜ有用な初期化を回復できるかを説明する。
• Omniglot と Mini-ImageNet を対象とし、非転導的および転導的設定の両方で経験的評価を行い、内ループの勾配の組み合わせを比較する。

(a) Before training

実験結果

リサーチクエスチョン

• RQ1 二次微分を使わないファーストオーダーのメタ学習更新は、少数ショットタスクにおいて MAML と同等の高速学習性能を達成できるか？
• RQ2 Reptile の振る舞いと、MAML の単純なファーストオーダー代替としての理論的正当性はどうか？
• RQ3 内ループの勾配の組み合わせと内ループのミニバッチ間の重なりがメタ学習の性能にどう影響するか？
• RQ4 Reptile は複数のタスクの最適解多様体の近くの初期化へ効果的に収束するか？
• RQ5 どの条件下で、勾配の相互作用を通じてファーストオーダー法はタスク内の一般化を最大化するか？

主な発見

• FOMAML および Reptile はいくつかの少数ショットベンチマークで MAML に匹敵し、報告設定では Reptile が Mini-ImageNet および Omniglot で FOMAML に同等またはわずかに上回ることが多い。
• Reptile は初期化をタスク訓練済み重みに向けて動かし、複数の内ループ勾配を用いることによって恩恵を受け、内ループステップや勾配を増やすほど改善を示す（特に勾配和算時）。
• Taylor 系分析は、一次項の主成分として AvgGrad が結合タスク損失を最小化し、AvgGradInner が内タスク勾配の整合性を高め、タスク内の一般化を助けることを示す。
• Reptile の更新は、期待損失に対する joint training に密接に関連するが、タスク内のミニバッチ間で勾配を整列させる傾向のある追加項を持ち、一般化を改善する。
• 実験では転導（バッチ正規化ベースのテスト時共有）がすべての手法の性能を向上させ、内ループのパラメータ選択（共通の tail vs 分離 tail、バッチサイズ）が FOMAML に比べて Reptile よりも大きく影響することが示された。
• 正弦波回帰のケーススタディは、MAML と Reptile が、非メタ学習の joint training では達成できない、訓練後の快速適応を可能にする初期表現を学習できることを示している。

(b) After MAML training