[論文レビュー] On Learning Over-parameterized Neural Networks: A Functional Approximation Perspective

Lili Su, Pengkun Yang|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques被引用数 22

ひとこと要約

この論文は、入力分布から導かれる積分作用素のべき乗として最適化プロセスを定式化することにより、過パラメータ化された2層ReLUネットワークの勾配降下訓練を研究している。幅がΩ(n log n)のとき、経験的リスクはターゲット関数の低ランク近似誤差へ線形収束し、サンプルサイズnに依存しない収束レートを達成する。また、高速収束に十分なのはほぼ線形の過パラメータ化であることを証明している。

ABSTRACT

We consider training over-parameterized two-layer neural networks with Rectified Linear Unit (ReLU) using gradient descent (GD) method. Inspired by a recent line of work, we study the evolutions of network prediction errors across GD iterations, which can be neatly described in a matrix form. When the network is sufficiently over-parameterized, these matrices individually approximate {\em an} integral operator which is determined by the feature vector distribution $ ho$ only. Consequently, GD method can be viewed as {\em approximately} applying the powers of this integral operator on the underlying/target function $f^*$ that generates the responses/labels. We show that if $f^*$ admits a low-rank approximation with respect to the eigenspaces of this integral operator, then the empirical risk decreases to this low rank approximation error at a linear rate which is determined by $f^*$ and $ ho$ only, i.e., the rate is independent of the sample size $n$. Furthermore, if $f^*$ has zero low-rank approximation error, then, as long as the width of the neural network is $\Omega(n\log n)$, the empirical risk decreases to $\Theta(1/\sqrt{n})$. To the best of our knowledge, this is the first result showing the sufficiency of nearly-linear network over-parameterization. We provide an application of our general results to the setting where $ ho$ is the uniform distribution on the spheres and $f^*$ is a polynomial. Throughout this paper, we consider the scenario where the input dimension $d$ is fixed.

研究の動機と目的

• 過パラメータ化された2層ReLUネットワークにおける勾配降下の一般化および最適化ダイナミクスを理解すること。
• 予測誤差の進化が入力分布によって誘導される積分作用素とどのように関係するかを特定すること。
• 勾配降下がターゲット関数の低ランク近似へ高速で線形収束するための条件を確立すること。
• 収束に必要な最小の過パラメータ化レベル、特にネットワーク幅とサンプルサイズの関係を特定すること。

提案手法

• 予測誤差の進化を、積分作用素構造を反映する行列表現を用いて勾配降下の反復ごとにモデル化すること。
• 過パラメータ化領域において、ヘッセ行列に類似した行列が入力分布$\rho$にのみ依存する積分作用素に収束することを示すこと。
• 勾配降下のダイナミクスを、ターゲット関数$f^*$にこの積分作用素のべき乗をほぼ適用するものとして分析すること。
• 積分作用素の固有値解析を通じて、収束速度が$f^*$と$\rho$にのみ依存し、サンプルサイズ$n$に依存しないことを確立すること。
• ターゲット関数$f^*$が積分作用素の固有空間において低ランク近似を許容する場合、経験的リスクが線形に減少することを証明すること。
• ネットワーク幅が$\Omega(n\log n)$のとき、低ランク誤差がゼロであればリスクが$\Theta(1/\sqrt{n})$に収束することを示すこと。

実験結果

リサーチクエスチョン

• RQ1 勾配降下は、関数近似の観点から過パラメータ化されたReLUネットワークをどのように最適化するか？
• RQ2 入力分布$\rho$は、勾配降下の収束速度にどのように寄与するか？
• RQ3 ほぼ線形の過パラメータ化（$\Omega(n\log n)$）で、ターゲット関数への高速収束が達成可能か？
• RQ4 経験的リスクがサンプルサイズ$n$に依存せずに線形に減少する条件は何か？
• RQ5 ターゲット関数$f^*$の固有構造が積分作用素に対してどのように最適化ダイナミクスに影響を与えるか？

主な発見

• ターゲット関数$f^*$が積分作用素の固有空間において低ランク近似を許容する場合、経験的リスクは$f^*$と$\rho$にのみ依存するレートで線形に減少し、サンプルサイズ$n$には依存しない。
• ネットワーク幅が$\Omega(n\log n}$のとき、$f^*$の低ランク近似誤差がゼロであれば、経験的リスクは$\Theta(1/\sqrt{n})$に収束する。
• 勾配降下の最適化ダイナミクスは、入力分布$\rho$から導かれる積分作用素のべき乗を適用することとほぼ等価である。
• 収束速度はサンプル数$n$に依存せず、過パラメータ化ネットワークの根本的特性を示している。
• 解析により、ほぼ線形の過パラメータ化が高速収束に十分であることが明らかになった。これは文献における新しい結果である。
• 結果は固定された入力次元$d$の下で得られており、ネットワーク幅、サンプルサイズ、関数の複雑さの間の相互作用に焦点を当てている。