[論文レビュー] Learning ReLUs via Gradient Descent

Mahdi Soltanolkotabi|arXiv (Cornell University)|May 10, 2017

Neural Networks and Applications参考文献 14被引用数 38

ひとこと要約

この論文は、重みベクトルの次元より少ないサンプル数を持つ高次元設定において、投影勾配降下法を用いたリラウエット線形ユニット（ReLUs）の学習を研究している。初期化をゼロにした場合、投影勾配降下法は、定数を除いて最適なサンプル複雑性を満たしつつ、真の埋め込み重みベクトルへ線形収束することを示しており、浅いおよびおそらくより深いニューラルネットワークのダイナミクスに関する洞察を提供する。

ABSTRACT

In this paper we study the problem of learning Rectified Linear Units (ReLUs) which are functions of the form $max(0, )$ with $w$ denoting the weight vector. We study this problem in the high-dimensional regime where the number of observations are fewer than the dimension of the weight vector. We assume that the weight vector belongs to some closed set (convex or nonconvex) which captures known side-information about its structure. We focus on the realizable model where the inputs are chosen i.i.d.~from a Gaussian distribution and the labels are generated according to a planted weight vector. We show that projected gradient descent, when initialization at 0, converges at a linear rate to the planted model with a number of samples that is optimal up to numerical constants. Our results on the dynamics of convergence of these very shallow neural nets may provide some insights towards understanding the dynamics of deeper architectures.

研究の動機と目的

• サンプル数が重みベクトルの次元より小さい高次元設定におけるReLU関数の学習問題を研究すること。
• 閉集合制約（凸または非凸）を通じて重みベクトルに関する構造的補足情報を取り入れること。
• ガウス分布に従う入力と、埋め込み重みベクトルから生成されたラベルを持つ実現可能モデルにおいて、原点に初期化された投影勾配降下法の収束挙動を分析すること。
• 浅いニューラルネットワークの学習ダイナミクスに関する理論的洞察を提供し、より深いアーキテクチャの理解に寄与すること。

提案手法

• 著者たちは、原点に初期化された投影勾配降下法を用いてReLu関数を学習する。
• 真の重みベクトルが閉集合内にあると仮定し、スパarsityや低ランク構造などの事前知識を符号化する。
• 入力データはi.i.d.ガウス分布に従い、ラベルは埋め込みReLuモデル y = max(0, w^T x) により生成される。
• 真の関数が仮説クラスに含まれる実現可能モデルの下で収束を分析する。
• 埋め込みモデル下での損失関数の幾何的および最適化的性質を活用し、線形収束レートを確立する。
• 各イテレーションで制約集合への射影を施すことで、構造的事前知識を強制する。

実験結果

リサーチクエスチョン

• RQ1 ゼロ初期化を伴う投影勾配降下法は、高次元設定におけるReLu関数の学習で線形収束を達成できるか？
• RQ2 構造的制約下での成功したReLu関数学習に必要な最適なサンプル複雑性は何か？
• RQ3 制約集合の幾何構造（凸または非凸）は、勾配降下法の収束レートにどのように影響するか？
• RQ4 1つのReLuの学習ダイナミクスは、より深いニューラルネットワークの訓練に洞察を提供できるか？
• RQ5 ゼロ初期化がアルゴリズムの収束挙動に果たす役割は何か？

主な発見

• ゼロ初期化を伴う投影勾配降下法は、高次元設定において真の埋め込み重みベクトルへ線形収束する。
• サンプル数が重みベクトルの次元より少ない場合でも、収束に必要なサンプル数は定数を除いて最適である。
• 適切な重みベクトルの構造的仮定のもとでは、環境次元に依存しない収束レートが得られる。
• 解析は凸および非凸の両方の制約集合に対して有効であり、構造的事前知識の選択に対して頑健であることが示された。
• 結果から、浅いモデルにおける単純な最適化ダイナミクスが、より深いネットワークのものと類似している可能性があり、実験的観察の理論的裏付けを提供する。