[論文レビュー] Multi-Step Model-Agnostic Meta-Learning: Convergence and Improved Algorithms.

Kaiyi Ji, Junjie Yang+1 more|arXiv (Cornell University)|Feb 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 3被引用数 24

ひとこと要約

この論文は、非凸設定における多段階モデルに依存しないメタラーニング（MAML）の最初の収束保証を確立し、リサンプリングおよび有限和の損失形式の両方を分析している。内側のループのステップサイズが内側ステップ数 $N$ に反比例するように設定されることで、$
$-精度の解への収束が保証されることを示しており、ネストされたメタ勾配構造を扱うために新しい技術的手法を導入している。

ABSTRACT

As a popular meta-learning approach, the model-agnostic meta-learning (MAML) algorithm has been widely used due to its simplicity and effectiveness. However, the convergence of the general multi-step MAML still remains unexplored. In this paper, we develop a new theoretical framework to provide such convergence guarantee for two types of objective functions that are of interest in practice: (a) resampling case (e.g., reinforcement learning), where loss functions take the form in expectation and new data are sampled as the algorithm runs; and (b) finite-sum case (e.g., supervised learning), where loss functions take the finite-sum form with given samples. For both cases, we characterize the convergence rate and the computational complexity to attain an $\epsilon$-accurate solution for multi-step MAML in the general nonconvex setting. In particular, our results suggest that an inner-stage stepsize needs to be chosen inversely proportional to the number $N$ of inner-stage steps in order for $N$-step MAML to have guaranteed convergence. From the technical perspective, we develop novel techniques to deal with the nested structure of the meta gradient for multi-step MAML, which can be of independent interest.

研究の動機と目的

• 一般の非凸設定における多段階MAMLの理論的収束保証を確立すること。
• リサンプリング（例：強化学習）と有限和（例：教師あり学習）という2つの実用的で一般的な目的関数形式について、収束速度および計算複雑性を分析すること。
• N段階MAMLにおける内側ループのステップサイズスケーリングが収束を保証する上で果たす重要な役割を特定すること。
• 多段階MAMLにおけるネストされたメタ勾配構造を扱うために、新しい技術的ツールを開発すること。

提案手法

• 一般の非凸性の下で多段階MAMLの収束を分析する理論的枠組みを提案する。
• 2つの目的関数形式を分析：期待値としての損失関数（リサンプリングの場合）と有限和形式（有限データの場合）。
• $\epsilon$-精度を達成するための収束速度および計算複雑性の上限を導出する。
• メタ勾配計算におけるネストされた依存関係を管理するための新しい分析的手法を導入する。
• 収束を保証するためには、内側ループのステップサイズが $O(1/N)$ のスケーリングに従う必要があることを確立する。
• 非凸最適化および確率的近似の道具を用いて、メタステップと内側ステップの間での誤差伝搬を制御する。

実験結果

リサーチクエスチョン

• RQ1 リサンプリング型目的関数に対する非凸設定下での多段階MAMLの収束速度は何か？
• RQ2 多段階MAMLにおける内側ステップ数 $N$ が増加するに従って、計算複雑性はどのように変化するか？
• RQ3 多段階MAMLで収束を保証する内側ループのステップサイズルールは何か？
• RQ4 リサンプリングと有限和の損失形式の間で、理論的保証はどのように異なるか？
• RQ5 多段階MAMLにおけるネストされたメタ勾配構造を扱うために、新たな分析的手法を開発できるか？

主な発見

• リサンプリングおよび有限和の両目的関数形式において、非凸設定下で $N$-ステップMAMLの収束が保証される。
• 収束を保証するためには、内側ループのステップサイズが内側ステップ数 $N$ に反比例する必要がある。
• 収束速度は $
  $-精度の観点から特徴づけられ、計算複雑性の明示的上限が得られている。
• 理論的枠組みは、多段階MAMLアルゴリズムの分析および改善の基盤を提供する。
• ネストされたメタ勾配を扱うために開発された技術的手法は、本研究を越えて独立した理論的関心を有する。