[論文レビュー] Polynomial Convergence of Gradient Descent for Training One-Hidden-Layer Neural Networks.

Santosh Vempala, John Wilmes|arXiv (Cornell University)|May 7, 2018

Stochastic Gradient Optimization Techniques参考文献 27被引用数 21

ひとこと要約

この論文は、n個の入力をもつ有界なターゲット関数の、次数が高々kの多項式近似の最良のものに勾配降下法が収束することを確立している。1層の隠れ層をもつニューラルネットワークを用い、パラメータ数と反復回数がそれぞれ$n^{O(k)}$である。主な結果は、ReLU やシグモイドなどのクラスに属するランダムなゲートが、$n^{O(k)} \cdot \text{poly}(1/\epsilon)$ 個のランダムに選ばれたゲートを用いて、任意の関数を次数kの多項式で$ϵ_0 + \epsilon$ の誤差内に近似できることを示している。

ABSTRACT

We analyze Gradient Descent applied to learning a bounded target function on $n$ real-valued inputs by training a neural network with a single hidden layer of nonlinear gates. Our main finding is that GD starting from a randomly initialized network converges in mean squared loss to the minimum error (in 2-norm) of the best approximation of the target function using a polynomial of degree at most $k$. Moreover, the size of the network and number of iterations needed are both bounded by $n^{O(k)}$. The core of our analysis is the following existence theorem, which is of independent interest: for any $\epsilon > 0$, any bounded function that has a degree-$k$ polynomial approximation with error $\epsilon_0$ (in 2-norm), can be approximated to within error $\epsilon_0 + \epsilon$ as a linear combination of $n^{O(k)} \mbox{poly}(1/\epsilon)$ randomly chosen gates from any class of gates whose corresponding activation function has nonzero coefficients in its harmonic expansion for degrees up to $k$. In particular, this applies to training networks of unbiased sigmoids and ReLUs.

研究の動機と目的

• 1層の隠れ層をもつニューラルネットワークの学習における勾配降下法の収束を分析すること。
• GDが2ノルムで次数-kの多項式による最良の近似に収束することを確立すること。
• 正確な近似を得るためのネットワークサイズと反復回数が、$n^{O(k)}$ に比例することを示すこと。
• ReLU やシグモイドなどのクラスに属するランダムな非線形ゲートを用いて関数を近似する一般の存在定理を証明すること。
• このようなゲートが、次数-kの多項式近似の最良値からの誤差が$\epsilon_0 + \epsilon$ 以内に収まるようにできることを示すこと。

提案手法

• 本分析は、新規の存在定理に依存している：任意の有界関数で、次数-kの多項式近似誤差が$\epsilon_0$ である場合、$n^{O(k)} \cdot \text{poly}(1/\epsilon)$ 個のランダムに選ばれたゲートを用いて、誤差$\epsilon_0 + \epsilon$ に近似可能である。
• 調和解析を用いて、フーリエ展開において次数kまで非ゼロの係数をもつ活性化関数が、このような近似を可能にすることを示している。
• 測度の集中とランダム行列理論を応用して、近似に必要なランダムゲートの数を抑えている。
• 存在定理に基づく安定性および近似の議論により、勾配降下法の収束を確立している。
• ネットワークはランダムに初期化され、GDが次数-kの多項式近似による達成可能な最小誤差に収束することが示されている。
• ゲートの集合が、次数-kの多項式の空間において十分に稠密な空間を張ることを活用して、効率的な学習が可能であることを証明している。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法が1層の隠れ層をもつニューラルネットワークで学習させた場合、有界なターゲット関数の最良の次数-k多項式近似に収束するか？
• RQ2 そのような収束を得るためのネットワークサイズと反復回数はどの程度か？
• RQ3 ReLU やシグモイドなどのクラスに属するランダムな非線形ゲートが、任意の関数を次数-kの多項式で$ϵ_0 + \epsilon$ の誤差内に近似できるか？
• RQ4 そのような近似精度を得るために必要なランダムゲートの数はどの程度か？
• RQ5 収束の性質は、活性化関数の調和展開の性質に依存するか？

主な発見

• 勾配降下法は、ターゲット関数の次数-k多項式近似による達成可能な最小2ノルム誤差に収束する。
• 必要なパラメータ数と反復回数は、いずれもターゲット関数の複雑さに依存せず、$n^{O(k)}$ で抑えられる。
• 達成される近似誤差は、最良の次数-k多項式近似の2ノルム誤差$ϵ_0$ に加えて$ϵ$ を加えたもの以下である。
• 次数kまでの非ゼロの調和係数をもつ活性化関数をもつ任意の非線形ゲートのクラスに対して、この結果は成り立つ。ReLU やシグモイドネットワークを含む。
• $ϵ$-近似を達成するために必要なランダムゲートの数は$n^{O(k)} \cdot \text{poly}(1/\epsilon)$ であり、固定されたkに対しては$1/\epsilon$ に関して多項式的である。
• 本分析により、一般の存在結果が確立された：このようなクラスからのランダムゲートは、次数-k多項式の空間において誤差$ϵ$ 以内に稠密な空間を張ることができる。