[論文レビュー] Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning

Kaiyi Ji, Junjie Yang+1 more|arXiv (Cornell University)|Feb 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 32

ひとこと要約

本論文は、リサンプリングと有限和設定の双方において、多段階MAMLの収束性を証明し複雑さを特徴づける理論フレームワークを構築し、内側のステップサイズが1/Nに比例して変化すべきことを示し、Nに正比例する計算コストの条件を提供する。

ABSTRACT

As a popular meta-learning approach, the model-agnostic meta-learning (MAML) algorithm has been widely used due to its simplicity and effectiveness. However, the convergence of the general multi-step MAML still remains unexplored. In this paper, we develop a new theoretical framework to provide such convergence guarantee for two types of objective functions that are of interest in practice: (a) resampling case (e.g., reinforcement learning), where loss functions take the form in expectation and new data are sampled as the algorithm runs; and (b) finite-sum case (e.g., supervised learning), where loss functions take the finite-sum form with given samples. For both cases, we characterize the convergence rate and the computational complexity to attain an $ε$-accurate solution for multi-step MAML in the general nonconvex setting. In particular, our results suggest that an inner-stage stepsize needs to be chosen inversely proportional to the number $N$ of inner-stage steps in order for $N$-step MAML to have guaranteed convergence. From the technical perspective, we develop novel techniques to deal with the nested structure of the meta gradient for multi-step MAML, which can be of independent interest.

研究の動機と目的

• 非凸設定における多段階MAMLの収束性の研究を動機づける。
• リサンプリングおよび有限和の目的関数構造の両方を分析する理論的フレームワークを提供する。
• ε精度解に到達するための収束速度と計算複雑性を特徴づける。
• ステップサイズの選択と線形にNにスケールする条件についての指針を提供する。

提案手法

• 多段階MAMLのネストされたSGD/L内ループと外ループの解析を導出する。
• 外部更新の勾配表現を提供する: ∇L_i(w) = [∏_{j=0}^{N-1}(I−α∇^2 l_i(w̃_j^i))] ∇l_i(w̃_N^i)。
• リサンプリングケースでヘッセ行列推定誤差と勾配推定誤差を分離する新しい界限を開発する。
• 内側と外側の損失が異なる有限和ケース（l_{S_i} vs l_{T_i}）にも解析を拡張する。
• メタ勾配のリプシッツ性を証明し、メタ勾配推定器の推定誤差を境界づける。
• β_k = 1/(C_β L̂_{w_k}) がε-精度解をもたらす条件を確立し、計算コストをN、ε、バッチサイズの観点で特徴づける。

実験結果

リサーチクエスチョン

• RQ1 多段階MAMLはリサンプリングと有限和設定の両方で非凸目的関数に対して収束するか。
• RQ2 内側のステップサイズαは内側ステップ数Nとどのようにスケールすべきか、収束を保証するため。
• RQ3 ネストされた内側ループの存在下で勾配/ヘッセ推定誤差が収束に与える影響は。
• RQ4 ε-精度の停留点を達成するための計算複雑性はどの程度か。
• RQ5 有限和ケースにおける内側と外側の損失の違いは収束分析にどう影響するか。

主な発見

• 収束のためには内側のステップサイズαを αL < 2^(1/(2N)) − 1 と選び、α = Θ(1/(NL)) を意味する。
• 適切なパラメータ選択の下で、NステップMAMLの勾配およびヘッセ計算複雑性はNに線形に比例して増加する。
• 小さなヘッセ行列問題では、収束を保ちつつより大きなαを使用でき、経験的観察と一致する。
• リサンプリング分析は2階微分近似誤差と勾配誤差を、内側の最適化経路間の距離の界によって分離する。
• 有限和分析は内側と外側の損失の違いを扱い、類似の収束保証を与える。
• 系の結論はε-精度解をO(1/ε^2)のメタ反復回数で保証し、勾配/ヘッセ計算の複雑性を明示する。