[論文レビュー] On the Global Optimality of Model-Agnostic Meta-Learning

Lingxiao Wang, Qi Cai+2 more|arXiv (Cornell University)|Jun 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 9

ひとこと要約

本稿は、一階最適化を用いて導かれる定常点の最適性ギャップを分析することにより、非凸なメタ目的関数に対してもモデルに依存しないメタラーニング（MAML）のグローバル最適性を確立する。これは、内側の目的関数の関数的幾何学と関数近似器（ニューラルネットワークを含む）の表現能力とを結びつけるものであり、教師ありおよび強化学習の両設定において、MAMLのグローバル最適性に関する初めての理論的保証を提供する。

ABSTRACT

Model-agnostic meta-learning (MAML) formulates meta-learning as a bilevel optimization problem, where the inner level solves each subtask based on a shared prior, while the outer level searches for the optimal shared prior by optimizing its aggregated performance over all the subtasks. Despite its empirical success, MAML remains less understood in theory, especially in terms of its global optimality, due to the nonconvexity of the meta-objective (the outer-level objective). To bridge such a gap between theory and practice, we characterize the optimality gap of the stationary points attained by MAML for both reinforcement learning and supervised learning, where the inner-level and outer-level problems are solved via first-order optimization methods. In particular, our characterization connects the optimality gap of such stationary points with (i) the functional geometry of inner-level objectives and (ii) the representation power of function approximators, including linear models and neural networks. To the best of our knowledge, our analysis establishes the global optimality of MAML with nonconvex meta-objectives for the first time.

研究の動機と目的

• 非凸なメタ目的関数下でのMAMLの経験的成功と、グローバル最適性保証の欠如という理論的ギャップを埋めること。
• 教師ありおよび強化学習の両設定において、一階最適化によって得られるMAMLの定常点の最適性ギャップを分析すること。
• 内側の目的関数の関数的幾何学と関数近似器の表現力が、MAMLのグローバル最適解への収束にどのように影響するかを特定すること。
• 非凸なメタ目的関数を伴う設定において、MAMLのグローバル最適性に関する結果を、初めて確立すること。

提案手法

• 内側のタスク固有の適応と外側のメタパラメータ最適化を有する二段階最適化問題としてMAMLを形式化すること。
• 内側および外側の両レベルで一階最適化手法を用いてMAMLの定常点を分析すること。
• 内側の目的関数の関数的幾何学に依存する最適性ギャップの理論的バインドを導出すること。
• 線形モデルやニューラルネットワークを含む関数近似器の能力が最適性ギャップに与える影響を定量化すること。
• 非凸性が存在する中でも、MAMLの定常点がグローバル最適解に対応する条件を確立すること。
• 幾何学的および近似理論的道具を用いて、表現力と目的関数のランドスケープをグローバル収束に結びつけること。

実験結果

リサーチクエスチョン

• RQ1 MAMLは、そのメタ目的関数が非凸である場合でも、どのような条件下でグローバル最適性を達成できるか？
• RQ2 内側の目的関数の関数的幾何学は、MAMLの定常点の最適性ギャップにどのように影響するか？
• RQ3 関数近似器の表現能力は、MAMLのグローバル収束にどの程度影響を及えるか？
• RQ4 MAMLにおける一階最適化は、教師ありおよび強化学習の両設定でグローバル最適解に到達できるか？
• RQ5 メタ目的関数が非凸である場合、MAMLの定常点に対してどのような理論的保証を確立できるか？

主な発見

• 本稿は、非凸なメタ目的関数下でのMAMLに対して、初めての理論的グローバル最適性保証を確立し、特定の幾何学的および表現的条件下では定常点がグローバル最適であることを示した。
• MAMLの定常点の最適性ギャップは、内側の目的関数の関数的幾何学と定量的に関連づけられ、平坦であるか、より構造的であるランドスケープの場合はギャップが小さくなる。
• 線形モデルやニューラルネットワークを含む関数近似器の表現能力は、最適性ギャップの低減に重要な役割を果たし、より豊富なモデルはグローバル最適解のより良い近似を可能にする。
• 線形モデルおよびニューラルネットワークの分析から、関数クラスがタスク分布に対して十分に表現力を持っている場合、グローバル最適性が達成可能であることが示された。
• 理論的枠組みにより、内側の目的関数にやや厳しい幾何的仮定が課せられれば、一階MAMLがグローバル最適なメタパラメータに収束可能であることが示された。
• 結果として、MAMLの経験的成功、特に少サンプル学習における成功に対して、形式的根拠が与えられた。これは、内在する幾何学的構造と表現能力が有利に一致する場合、MAMLの定常点がグローバル最適であることを示している。