[論文レビュー] On Infinite-Width Hypernetworks

Etai Littwin, Tomer Galanti+2 more|arXiv (Cornell University)|Mar 27, 2020

Computational Geometry and Mesh Generation参考文献 42被引用数 7

ひとこと要約

本稿は、無限幅ハイパーネットワークの一般化および最適化ダイナミクスを調査し、標準的な広いハイパーネットワークが非凸性のため勾配降下法ではグローバルミニマに収束しないことを示している。しかし、ハイパーネットワークと主ネットワークの両方が無限に広がっている場合、学習ダイナミクスは単純化され、明確な無限幅極限カーネルである「ハイパーカーネル」に従い、関数的表現タスクにおけるデータ制限下での性能向上が可能になる。

ABSTRACT

{\em Hypernetworks} are architectures that produce the weights of a task-specific {\em primary network}. A notable application of hypernetworks in the recent literature involves learning to output functional representations. In these scenarios, the hypernetwork learns a representation corresponding to the weights of a shallow MLP, which typically encodes shape or image information. While such representations have seen considerable success in practice, they remain lacking in the theoretical guarantees in the wide regime of the standard architectures. In this work, we study wide over-parameterized hypernetworks. We show that unlike typical architectures, infinitely wide hypernetworks do not guarantee convergence to a global minima under gradient descent. We further show that convexity can be achieved by increasing the dimensionality of the hypernetwork's output, to represent wide MLPs. In the dually infinite-width regime, we identify the functional priors of these architectures by deriving their corresponding GP and NTK kernels, the latter of which we refer to as the {\em hyperkernel}. As part of this study, we make a mathematical contribution by deriving tight bounds on high order Taylor expansion terms of standard fully connected ReLU networks.

研究の動機と目的

• 過パラメータ化されたハイパーネットワークの無限幅領域における学習ダイナミクスを理解すること。
• 無限に広いハイパーネットワークが凸最適化行動を示す条件を同定すること。
• 二重に無限に広い極限におけるハイパーネットワークの関数的事前分布を導出すること。この事前分布は、新しいカーネル「ハイパーカーネル」として特徴づけられる。
• 関数的表現学習、特にデータが限られた状況下でのハイパーネットワークに対する理論的保証を提供すること。
• ReLU MLPにおける高次テイラー展開項の漸近的バインディングを厳密に導出し、相関関数に関する予想を部分的に解消すること。

提案手法

• ネットワークをハイパーネットワーク f と主ネットワーク g に分解することで、ハイパーネットワークの勾配降下ダイナミクスを分析する。
• 初期化の周囲におけるネットワーク出力の高次テイラー展開を適用し、一次および高次項に注目する。
• ハイパーネットワークのニューラルタングエントランスカーネル（NTK）を導出し、二重に無限に広い極限におけるNTKとして「ハイパーカーネル」を導入する。
• ランダム行列理論と漸近的解析を用いて、幅が増加するに従い高次項が消えることを示す。
• ReLUネットワークにおける高次テイラー項に対して、O(1/m)のタイトなバインディングを確立し、先行研究を拡張する。
• 関数的表現タスクにおいて理論的予測を実証的に検証し、カーネルベース手法とトレーニング済みハイパーネットワークの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットワークの無限幅極限は、勾配降下法下で凸最適化ダイナミクスをもたらすか？
• RQ2 二重に無限に広い領域において、ハイパーネットワークの関数的事前分布を特徴づけられるか？
• RQ3 ハイパーネットワークのニューラルタングエントランスカーネル（NTK）の構造と挙動は何か？また、標準的なNTKとはどのように異なるか？
• RQ4 広いReLU MLPにおける高次テイラー展開項はどのように振る舞うか？また、それらをタイトにバインドできるか？
• RQ5 導出されたハイパーカーネルは、データが限られた状況でトレーニング済みハイパーネットワークを上回る性能を示すか？

主な発見

• 無限に広いハイパーネットワークは、最適化の多様性に起因する非凸性のため、勾配降下法下でグローバルミニマに収束するとは限らない。
• ハイパーネットワークと主ネットワークの両方が無限に広がっている場合、凸性が回復し、安定した学習ダイナミクスがハイパーカーネルに従う。
• ハイパーカーネルは、ハイパーネットワークのNTKの無限幅極限として導出され、カーネルベースの学習を可能にする関数的事前分布を提供する。
• 実証的結果から、データが限られた関数的表現タスクにおいて、ハイパーカーネルに基づく手法が標準的なトレーニング済みハイパーネットワークを上回ることが示された。
• ReLU MLPにおける高次テイラー展開項に対して、O(1/m)のタイトな漸近的バインディングが確立され、理論的枠組みを支持するとともに、相関関数に関する予想を部分的に解消した。