[論文レビュー] Electron-Proton Dynamics in Deep Learning.

Qiuyi Zhang, Rina Panigrahy‎+1 more|arXiv (Cornell University)|Feb 1, 2017

Stochastic Gradient Optimization Techniques参考文献 37被引用数 22

ひとこと要約

この論文は、線形出力とさまざまな活性化関数を用いた2層ニューラルネットワークの勾配降下法の収束を調査する。弱い仮定の下で、ノード単位の確率的勾配降下法が有限で多項式時間およびサンプル複雑性内でグローバル最小値に収束することを証明し、深層学習の実験的成功に対する理論的裏付けを提供する。

ABSTRACT

We study the efficacy of learning neural networks with neural networks by the (stochastic) gradient descent method. While gradient descent enjoys empirical success in a variety of applications, there is a lack of theoretical guarantees that explains the practical utility of deep learning. We focus on two-layer neural networks with a linear activation on the output node. We show that under some mild assumptions and certain classes of activation functions, gradient descent does learn the parameters of the neural network and converges to the global minima. Using a node-wise gradient descent algorithm, we show that learning can be done in finite, sometimes $poly(d,1/\epsilon)$, time and sample complexity.

研究の動機と目的

• 2層ニューラルネットワークにおける勾配降下法の分析を通じて、深層学習の実験的成功に対する理論的裏付けを提供すること。
• 弱い仮定と特定の活性化関数の下で、勾配降下法がグローバル最小値に収束できるかどうかを調査すること。
• ノード単位の勾配降下法を用いたパラメータ学習における有限時間およびサンプル複雑性の上限を確立すること。
• 線形出力層を有する深層学習における確率的勾配降下法の収束挙動を分析すること。

提案手法

• 研究は、出力ノードに線形活性化関数を、隠れ層に非線形活性化関数を用いた2層ニューラルネットワークに焦点を当てる。
• パラメータをノードごとに独立に更新するノード単位の勾配降下法を採用し、最適化プロセスを単純化する。
• データ分布および活性化関数に対する弱い仮定の下で理論的分析を実施し、ReLUやその他の区分線形関数を含む。
• これらの仮定の下で損失関数の安定性および滑らかさの性質を用いて、グローバル最小値への収束を証明する。
• 時間およびサンプル複雑性を分析し、入力次元dおよび所望の精度εの多項式時間とサンプルサイズ、すなわちpoly(d, 1/ε)で収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 2層ニューラルネットワークに線形出力が適用される状況で、勾配降下法がグローバル最小値に収束する条件は何か？
• RQ2 特定の活性化関数を用いた深層学習における確率的勾配降下法に対して、有限時間収束を保証できるか？
• RQ3 この設定におけるノード単位の勾配降下法を用いたパラメータ学習に必要なサンプル複雑性は何か？
• RQ4 データおよび活性化関数に対する弱い仮定が、勾配降下法の収束に与える影響は何か？

主な発見

• 弱い仮定の下で、線形出力および適切な活性化関数を有する2層ニューラルネットワークに対して、勾配降下法はグローバル最小値に収束する。
• 収束時間は、入力次元dおよび逆精度εの多項式で上限が与えられ、すなわちpoly(d, 1/ε)である。
• 学習に必要なサンプル複雑性もdおよび1/εの多項式で上限が与えられ、有限かつ効率的な学習が保証される。
• ノード単位の勾配降下法により、各ニューロンごとのパラメータ更新を分離することで、最適化と解析が簡素化され、収束が可能になる。