[論文レビュー] Learning One-hidden-layer ReLU Networks via Gradient Descent

Xiao Zhang, Yaodong Yu+2 more|arXiv (Cornell University)|Jun 20, 2018

Machine Learning and ELM被引用数 51

ひとこと要約

本論文は、テンソル初期化に続く勾配降下法が、ガウス分布の入力で学習させた1つの隠れ層を持つReLUネットワークの真のパラメータを回復できることを証明し、入力次元に比例したサンプル複雑性のもとで統計誤差まで線形収束を達成する。経験的リスク最小化を分析し、アルゴリズム依存の保証を提供する。

ABSTRACT

We study the problem of learning one-hidden-layer neural networks with Rectified Linear Unit (ReLU) activation function, where the inputs are sampled from standard Gaussian distribution and the outputs are generated from a noisy teacher network. We analyze the performance of gradient descent for training such kind of neural networks based on empirical risk minimization, and provide algorithm-dependent guarantees. In particular, we prove that tensor initialization followed by gradient descent can converge to the ground-truth parameters at a linear rate up to some statistical error. To the best of our knowledge, this is the first work characterizing the recovery guarantee for practical learning of one-hidden-layer ReLU networks with multiple neurons. Numerical experiments verify our theoretical findings.

研究の動機と目的

• 経験的リスク最小化の下で、浅いReLUネットワークの勾配法に基づく学習を理解する動機づけ。
• 複数のニューロンを持つ1-hidden-layer ReLUネットワークに対して、勾配降下法がいつ真のパラメータへ収束するかを特徴づける。
• アルゴリズム依存の回復保証を提供し、収束速度と統計誤差を定量化する。
• テンソル初期化が、リサンプリング手法を用いずに実用的で収束する学習を可能にすることを示す。

提案手法

• 1 隠れ層 ReLU ネットワークの経験的平方損失を最小化する問題として学習を定式化する。
• 既知の先行研究により、真の W* に近い良い初期点を得るためにテンソル初期化を用いる。
• データのリサンプリングを必要とせず（分割不要）、経験的損失に対して勾配降下法を適用する。
• 収束解析を可能にするために、経験的損失の勾配と母集団損失の勾配の一様収束境界を確立する。
• 入力次元 d に対して対数因子を除けば線形にスケーリングするサンプル複雑性のもと、W* への統計誤差までの線形収束を証明する。
• 最適化解析を導くために、経験的損失の明示的な勾配式を導出する。

実験結果

リサーチクエスチョン

• RQ1 ガウス入力を用いた経験的リスク最小化から、勾配降下法は1-hidden-layer ReLUネットワークの真のパラメータを回復できるか。
• RQ2 真のパラメータへの線形収束を保証するために、どんな初期化とどの程度のサンプル複雑性が必要か。
• RQ3 真値付近領域で、経験的勾配と母集団勾配がどのように比較され、収束にどう影響するか。
• RQ4 テンソル初期化と勾配降下法の組み合わせで、リサンプリングなしに統計誤差まで W* に到達するか。

主な発見

• テンソル初期化を伴う勾配降下法は、統計誤差まで真のパラメータへ線形収束を達成する。
• 統計誤差は、サンプル数 N、次元 d、隠れニューロン数 K、ノイズレベル ν に依存する。
• ガウス入力仮定の下で、サンプル複雑性は対数因子を除けば d に線形に比例する。
• 経験的損失と母集団損失間の一様勾配収束界は、データのリサンプリングなしで解析を可能にする。
• 数値実験によって収束と回復挙動を裏付ける理論的結果。