[論文レビュー] A Function Space View of Bounded Norm Infinite Width ReLU Nets: The Multivariate Case

Greg Ongie, Rebecca Willett+2 more|arXiv (Cornell University)|Oct 3, 2019

Neural Networks and Applications参考文献 27被引用数 46

ひとこと要約

この論文は、無限幅の二層 ReLU ネットワークを用いて多変数関数を実現する際の表現コスト（ノルム）を、Radon transform と高階ラプラシアンに関連する明示的な R-norm を介して求める。

ABSTRACT

A key element of understanding the efficacy of overparameterized neural networks is characterizing how they represent functions as the number of weights in the network approaches infinity. In this paper, we characterize the norm required to realize a function $f:\\mathbb{R}^d\ ightarrow\\mathbb{R}$ as a single hidden-layer ReLU network with an unbounded number of units (infinite width), but where the Euclidean norm of the weights is bounded, including precisely characterizing which functions can be realized with finite norm. This was settled for univariate univariate functions in Savarese et al. (2019), where it was shown that the required norm is determined by the L1-norm of the second derivative of the function. We extend the characterization to multivariate functions (i.e., networks with d input units), relating the required norm to the L1-norm of the Radon transform of a (d+1)/2-power Laplacian of the function. This characterization allows us to show that all functions in Sobolev spaces $W^{s,1}(\\mathbb{R})$, $s\\geq d+1$, can be represented with bounded norm, to calculate the required norm for several specific functions, and to obtain a depth separation result. These results have important implications for understanding generalization performance and the distinction between neural networks and more traditional kernel learning.

研究の動機と目的

• ネットワークの幅が無限で、重みノルムが有界である場合の関数表現の理解を促進する。
• 無限幅 ReLU ネットワークによって実現される多変数関数の表現コストを特徴づける。
• このコストを Radon transform および高階ラプラシアン演算子と関連づける。
• どの Sobolev 空間が有限のコストをもたらすかを示し、具体的な例を提供する。
• ReLU ネットワークにおけるノルムの観点での深さ分離を示す。

提案手法

• 正確な有限幅ネットワーク表現の下で重みノルムを最小化することにより表現コスト R(f) を定義し、無限幅へ拡張する。
• 極限コスト ϵoldR(f)旧 を導入し、それが ReLU 成分に対する測度ベースの積分と等価であることを示す。
• Radon transform と (d+1)/2-Laplacian を用いた対偶定式によって定義された R-norm を用いて有限性を特徴づける。
• f を dual Radon transform および反転公式を用いてその Radon transform へ関連付け、明示的なコスト表現を導出する。
• 解析を単純化するために絶対値ユニットと線形成分への分解を用い、R1(f) の結果を得る。
• R-norm の境界・性質を提供し、スケーリング、不変性、無限大での勾配の役割を含む。

実験結果

リサーチクエスチョン

• RQ1 重みノルムが有界な無限幅二層 ReLU ネットワークを用いて多変量関数 f を実現するのに必要な正確な表現コスト（ノルム）は何か？
• RQ2 このコストを Radon transform 手法と高階ラプラシアンを用いてどのように表現・計算できるか？
• RQ3 どの関数空間（例：Sobolev 空間）が多変量関数に対して有限の表現コストを保証するか？
• RQ4 深さ（層数の増加）はノルムベースの表現コストにどう影響するか、即ちノルムの観点で深さ分離はあるか？
• RQ5 R-norm の主要な性質とそれとカーネル法および RKHS ノルムとの関係は何か？

主な発見

• W^{d+1,1}(R^d) におけるすべての十分に滑らかな関数は有限の表現コストを持つ。
• コストは f の (d+1)/2-乗ラプラシアンの Radon transform の L1 ノルムを R-norm を介して結びつく。
• 有限サポートを持つ半径の放射状バンプは有限の表現コストを持つが、半径 ε の鋭いバンプではコストは 1/ε に比例して増加する。
• 次元 d>1 では、境界を持つ一般的な階段的線形関数は無限の表現コストを持つ可能性がある。
• 深さ分離が存在する：2D の関数は bounded-norm 実装の depth-3 ReLU ネットワークで表現可能だが、depth-2 の bounded-norm ネットワークでは表現できない。
• R-norm は関数の表現コストに等しく、(overline{R}_1(f) = ||f||_R)、overline{R}(f) の有限性は ||f||_R の有限性に結びつく。