[論文レビュー] How do infinite width bounded norm networks look in function space?

Pedro Savarese, Itay Evron+2 more|arXiv (Cornell University)|Feb 13, 2019

Stochastic Gradient Optimization Techniques参考文献 22被引用数 15

ひとこと要約

この論文は、有界な重みノルムをもつ無限幅ReLUネットワークが誘導する関数空間を特徴づけ、1変数関数を表現するための最小ノルムが、2階微分の絶対値の積分と1階微分の全 Variation に依存することを示している。最適な近似は線形スプライン補間に対応し、ニューラルネットワークの正則化と関数空間における自然なインダクティブバイアスを結びつける。

ABSTRACT

We consider the question of what functions can be captured by ReLU networks with an unbounded number of units (infinite width), but where the overall network Euclidean norm (sum of squares of all weights in the system, except for an unregularized bias term for each unit) is bounded; or equivalently what is the minimal norm required to approximate a given function. For functions $f : \mathbb R ightarrow \mathbb R$ and a single hidden layer, we show that the minimal network norm for representing $f$ is $\max(\int |f''(x)| dx, |f'(-\infty) + f'(+\infty)|)$, and hence the minimal norm fit for a sample is given by a linear spline interpolation.

研究の動機と目的

• 重みノルム正則化が無限幅ReLUネットワークに誘導するインダクティブバイアスを理解すること。
• このような設定において、与えられた1変数関数を表現するために必要な最小ネットワークノルムを特徴づけること。
• ノルム最小化を通じて、ニューラルネットワーク学習と線形スプライン補間の間の関係を確立すること。
• 単層ネットワークからの知見を、多次元および深層アーキテクチャへと拡張すること。
• グリーン関数と2階微分作用素を用いて、ネットワーク学習を変分問題として定式化すること。

提案手法

• 著者たちは、無限幅2層ReLUネットワークを、単位球面上の符号付き測度αでパラメータ化された重みベクトルの測度としてモデル化する。
• 関数空間ノルムを測度αのL1ノルムとして導出し、これは関数の2階微分の全 Variation に相当する。
• 2階微分作用素のグリーン関数を用いて、ネットワークノルムの最小化が特定のカーネルを持つ変分問題に等価であることを示す。
• 最適な関数クラスが、2階微分の全 Variation の和と、無限大における1階微分の絶対値の和を最小化する線形スプラインであることが示される。
• ヘッセ行列の核ノルムを含む一般化を仮定することで、多次元関数への分析を拡張する。
• フレームワークを応用して、無限幅ネットワークにおける深さがℓ2/Lブリッジペナルティを誘導することを示す。これは線形ネットワークに類似している。

実験結果

リサーチクエスチョン

• RQ1 有界な重みノルムをもつ無限幅ReLUネットワークで、任意に小さなノルムで表現可能な関数のクラスは何か？
• RQ2 最小ネットワークノルムは、ターゲット関数の滑らかさと境界挙動とどのように関係するか？
• RQ3 このようなネットワークにおける最適な補間は、線形スプライン補間として特徴づけられるか？
• RQ4 ノルム正則化下で、無限幅ReLUネットワークにおける深さはインダクティブバイアスにどのように影響するか？
• RQ5 無限幅極限において、測度αのL1ノルムに対応する関数空間ノルムは存在するか？

主な発見

• 1変数関数fを表現するための最小ネットワークノルムは、max(∫|f''(x)|dx, |f'(-∞) + f'(∞)|) で与えられ、関数の湾曲度と無限大における1階微分の変動を定量化する。
• ノルム最小化下で有限データにフィットする最適な解は線形スプライン補間であり、最近の補間学習研究で観察されたインダクティブバイアスと一致する。
• 有界なノルムをもつ無限幅ReLUネットワークが誘導する関数空間は、2階微分の全 Variation が有限で、無限大における1階微分の変動が有界な関数の集合に等しい。
• グリーン関数との関連から、ノルム制約下での無限幅ネットワークの学習は、2階微分作用素を伴う変分問題を解くことと等価であることが明らかになった。
• 多次元関数に関しては、著者らは最小ノルムがヘッセ行列の核ノルムの積分に相当すると予想している。これは1変数の結果を一般化する。
• 無限幅ネットワークにおける深さはℓ2/Lブリッジペナルティを誘導し、深層アーキテクチャが関数空間表現においてスパarsityを誘導する可能性を示唆している。