[論文レビュー] On the Convergence Theory of Gradient-Based Model-Agnostic Meta-Learning Algorithms

Alireza Fallah, Aryan Mokhtari+1 more|arXiv (Cornell University)|Aug 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 56

ひとこと要約

この論文は、勾配ベースの MAML とその first-order バリアントの非凸設定に対する初の収束保証を提供し、ε-ファーストオーダー停止性を O(d) のコストで実現する Hessian-free MAML を導入します。

ABSTRACT

We study the convergence of a class of gradient-based Model-Agnostic Meta-Learning (MAML) methods and characterize their overall complexity as well as their best achievable accuracy in terms of gradient norm for nonconvex loss functions. We start with the MAML method and its first-order approximation (FO-MAML) and highlight the challenges that emerge in their analysis. By overcoming these challenges not only we provide the first theoretical guarantees for MAML and FO-MAML in nonconvex settings, but also we answer some of the unanswered questions for the implementation of these algorithms including how to choose their learning rate and the batch size for both tasks and datasets corresponding to tasks. In particular, we show that MAML can find an $ε$-first-order stationary point ($ε$-FOSP) for any positive $ε$ after at most $\mathcal{O}(1/ε^2)$ iterations at the expense of requiring second-order information. We also show that FO-MAML which ignores the second-order information required in the update of MAML cannot achieve any small desired level of accuracy, i.e., FO-MAML cannot find an $ε$-FOSP for any $ε>0$. We further propose a new variant of the MAML algorithm called Hessian-free MAML which preserves all theoretical guarantees of MAML, without requiring access to second-order information.

研究の動機と目的

• 勾配ベースのモデル非依存メタ学習（MAML）法を非凸損失に対して研究する動機づけ。
• MAML および FO-MAML に対する収束性、反復複雑性、及び得られうる最良の精度（勾配ノルムで測定）を特徴づける。
• MAML の保証を保ちつつ計算コストを削減する HF-MAML を提案する。
• 学習率とバッチサイズの指針を提供し、第一階停留性を達成する。

提案手法

• メタ学習目的を F(w)=E_i[f_i(w - α ∇f_i(w))] の最小化としてモデリングする。
• F 上の SGD として MAML を分析し、無界な滑らかさパラメータやバイアスのある勾配推定といった課題に対処する。
• MAML が second-order 情報を用いた場合に O(1/ε^2) 回の反復で ε-FOSP を達成する収束保証を導出する。
• 二次項を無視することで（特定の条件が成り立たない限り）FO-MAML は任意の ε>0 に対して ε-FOSP に到達できないことを示す。
• HF-MAML を導入し、ヘッセ行列を使わない近似を用いて、各反復コストを O(d) に抑えつつ任意の ε>0 に対して ε-FOSP を実現する。

実験結果

リサーチクエスチョン

• RQ1 非凸損失関数に対して MAML および FO-MAML は ε-ファーストオーダー停留点へ収束できるか、またその反復/サンプル複雑性はどの程度か。
• RQ2 内側/外側ループの設計選択、勾配・ヘッセ行列の計算、確率性が収束性と達成可能な精度にどう影響するか。
• RQ3 MAML の保証を保ちつつ反復あたりの計算コストを削減するヘッセ自由の変種を設計できるか。
• RQ4 学習率やバッチサイズのハイパーパラメータ選択が収束速度と実践的な性能をどう最適化するか。

主な発見

• MAML は二次情報を用いる場合、任意の ε>0 に対して ε-FOSP を見つけることができ、反復複雑性は O(1/ε^2) である。
• FO-MAML は各反復のコストを低く抑えられるが、任意の ε-FOSP には到達できない（精度は O(ασ) によって制限される）。
• HF-MAML は両者の長所を併せ持ち、各反復のコストを O(d) に抑えつつ任意の ε>0 に対して ε-FOSP を達成できる。
• 解析は無限大の滑らかさやバイアスのある勾配推定といった課題を考慮し、学習率とバッチサイズの選択に関する実践的指針を提供する。
• 本論文は、内側/外側ループの学習率設定やデータのバッチ処理方法など、理論的保証と実用的なハイパーパラメータ調整を結びつける。