[論文レビュー] A Sample Complexity Separation between Non-Convex and Convex Meta-Learning

Nikunj Saunshi, Yi Zhang+2 more|arXiv (Cornell University)|Feb 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 7

ひとこと要約

本稿は、1次元部分空間学習問題を構築することで、凸型と非凸型のメタラーニングにおけるサンプル複雑度の分離を確立する。凸型線形回帰では新しいタスクを解くためにΩ(d)のサンプルが必要であるのに対し、Reptileを用いた非凸型2層線形ネットワークではO(1)のサンプル複雑度を達成する。非凸性が、軌道に依存する最適化ダイナミクスを通じて共有構造の有効なメタラーニングを可能にすることを示している。

ABSTRACT

One popular trend in meta-learning is to learn from many training tasks a common initialization for a gradient-based method that can be used to solve a new task with few samples. The theory of meta-learning is still in its early stages, with several recent learning-theoretic analyses of methods such as Reptile [Nichol et al., 2018] being for convex models. This work shows that convex-case analysis might be insufficient to understand the success of meta-learning, and that even for non-convex models it is important to look inside the optimization black-box, specifically at properties of the optimization trajectory. We construct a simple meta-learning instance that captures the problem of one-dimensional subspace learning. For the convex formulation of linear regression on this instance, we show that the new task sample complexity of any initialization-based meta-learning algorithm is $Ω(d)$, where $d$ is the input dimension. In contrast, for the non-convex formulation of a two layer linear network on the same instance, we show that both Reptile and multi-task representation learning can have new task sample complexity of $\mathcal{O}(1)$, demonstrating a separation from convex meta-learning. Crucially, analyses of the training dynamics of these methods reveal that they can meta-learn the correct subspace onto which the data should be projected.

研究の動機と目的

• 初期値ベースのメタラーニングの成功を理解するための凸型メタラーニング解析が不十分であることを示すこと。
• 1次元部分空間学習の課題を孤立させる単純なメタラーニング例を構築すること。
• 初期値ベースのメタラーニングにおける凸型と非凸型の定式化の間で、証明可能なサンプル複雑度のギャップを示すこと。
• 非凸型メタラーニングのパフォーマンスを理解するために、最適化ダイナミクスの軌道に基づく分析が不可欠であることを明らかにすること。
• 既存の凸型ケースの上界を再評価し、タスク類似度の仮定の不一致により、新たな下界と矛盾しないことを示すこと。

提案手法

• タスクが1次元部分空間を共有するメタラーニングのインスタンスを形式化し、ハミング距離のパッケージングを伴う超立方体頂点の分布を用いる。
• 線形予測子の絶対値に基づく凸型損失関数を定義し、タスク固有のパラメータを部分空間構造に結びつける。
• 初期値ベースのメタラーニングアルゴリズムが凸型線形回帰設定でΩ(d)のサンプル複雑度下界を持つことを証明する。
• 同じ仮説クラスを過剰パラメータ化された定式化として非凸型2層線形ネットワークを導入する。
• 非凸型モデルにおけるReptileおよびマルチタスク表現学習の分析を行い、新しいタスクでO(1)のサンプル複雑度を達成することを示す。
• 軌道に基づく分析を用いて、最適化ダイナミクスが正しい部分空間を学習することを示し、任意の最小化子とは区別できることを示す。

実験結果

リサーチクエスチョン

• RQ1 タスクが低次元部分空間を共有する場合、凸型メタラーニングは低いサンプル複雑度を達成できるか？
• RQ2 過剰パラメータ化されたモデルを用いた非凸型メタラーニングは、サンプル複雑度の観点から凸型の定式化に比べて明確な優位性を示せるか？
• RQ3 非凸型モデルにおける軌道に基づく最適化ダイナミクスが、なぜ凸型手法が失敗するのに対し、共有構造を学習に成功するのか？
• RQ4 既存の凸型ケースの上界と新たな下界の関係は何か？ギャップを埋めるためにどのような構造的仮定が必要か？
• RQ5 従来の凸型解析で用いられるタスク類似度測度は、メタラーニングにおける真の根本的構造を十分に捉えているか？

主な発見

• 凸型線形回帰では、初期値ベースのメタラーニングアルゴリズムが新しいタスクを解くためにΩ(d)のサンプルを必要とし、共有部分空間構造を活用できないことを示している。
• これに対して、非凸型2層線形ネットワークの定式化により、Reptileおよびマルチタスク学習が新しいタスクでO(1)のサンプル複雑度を達成できる。
• 非凸型の成功の鍵は最適化の軌道にあり、正しい部分空間を学習するのは特定の経路に限る。すべての最小化子がこれを達成するわけではない。
• 下界は、従来の凸型ケースの上界と矛盾しない。これは、それらの上界がこのインスタンスでは大きな値をとるタスク類似度測度（平均パラメータ距離）に依存しているためである。
• 本稿は、既存の凸型ケースの上界が、より強い構造的仮定がなければ改善できないという点で、タイトであることを証明している。
• 結果として、特に過剰パラメータ化されたモデルにおいて、最適化軌道の分析が非凸型メタラーニングを理解するために不可欠であることが示された。