[論文レビュー] The Benefits of Over-parameterization at Initialization in Deep ReLU Networks

Devansh Arpit, Yoshua Bengio|arXiv (Cornell University)|Jan 11, 2019

Stochastic Gradient Optimization Techniques参考文献 23被引用数 14

ひとこと要約

この論文は、He初期化された深層ReLUネットワークが初期化時においてノルム保存性を示すことを示している。具体的には、隠れ活性化のノルムが入力ノルムに等しく、重み勾配のノルムが入力ノルムと出力誤差ノルムの積に等しい。これらの性質は、幅の有限下限を導出することで、無限幅またはi.i.d.入力データの仮定を緩和し、有限データセットに対しても高確率で成り立つことがPAC解析により確立されている。

ABSTRACT

It has been noted in existing literature that over-parameterization in ReLU networks generally improves performance. While there could be several factors involved behind this, we prove some desirable theoretical properties at initialization which may be enjoyed by ReLU networks. Specifically, it is known that He initialization in deep ReLU networks asymptotically preserves variance of activations in the forward pass and variance of gradients in the backward pass for infinitely wide networks, thus preserving the flow of information in both directions. Our paper goes beyond these results and shows novel properties that hold under He initialization: i) the norm of hidden activation of each layer is equal to the norm of the input, and, ii) the norm of weight gradient of each layer is equal to the product of norm of the input vector and the error at output layer. These results are derived using the PAC analysis framework, and hold true for finitely sized datasets such that the width of the ReLU network only needs to be larger than a certain finite lower bound. As we show, this lower bound depends on the depth of the network and the number of samples, and by the virtue of being a lower bound, over-parameterized ReLU networks are endowed with these desirable properties. For the aforementioned hidden activation norm property under He initialization, we further extend our theory and show that this property holds for a finite width network even when the number of data samples is infinite. Thus we overcome several limitations of existing papers, and show new properties of deep ReLU networks at initialization.

研究の動機と目的

• 初期化時における深層ReLUネットワークの新たな理論的性質を特定・形式化し、訓練ダイナミクスの改善に寄与すること。
• 従来の研究で一般的に仮定されてきた無限幅またはi.i.d.入力データ分布の仮定を緩和し、有限幅の保証を導出すること。
• PAC解析を用いて、有限データセットに対しても活性化および勾配ノルムの等価性が高確率で成り立つことを確立すること。
• これらの有益な性質が漸近的であるだけでなく、導出された幅の下限を満たす有限幅ネットワークに対しても成立することを示すこと。

提案手法

• PAC解析を用いて、He初期化下での深層ReLUネットワークにおける活性化および勾配ノルムの高確率的境界を導出する。
• 活性化および勾配ノルムの等価性が高確率で成り立つためのネットワーク幅の有限下限を導出する。
• 集中不等式（例：Hoeffding型の不等式）を適用し、すべての層にわたり隠れ活性化のノルムが入力ノルムに近いまま保たれることを示す。
• 和集合の不等式およびベクトル射影の補題を用いて、ノルム保存性を全ネットワークの深さにまで拡張する。
• 重み行列におけるi.i.d.正規分布およびベルヌーイ確率変数の性質を活用し、初期化時のReLUネットワークの挙動をモデル化する。
• 順方向および逆方向の伝搬解析を統合し、勾配ノルムが入力ノルムおよび出力誤差ノルムに比例することを証明する。

実験結果

リサーチクエスチョン

• RQ1 有限幅ネットワークにおいて、He初期化された深層ReLUネットワークは各層で活性化ノルムを保存するか？
• RQ2 初期化時における深層ReLUネットワークの勾配ノルムが、入力ノルムおよび出力誤差ノルムに比例することを示せるか？
• RQ3 これらのノルム保存性が高確率で成り立つための最小有限幅は何か？
• RQ4 無限幅またはi.i.d.入力データ分布の仮定なしに、これらの性質はどのように成り立つか？

主な発見

• 各層の隠れ活性化のノルムは、高確率で入力ノルムに等しい。すなわち、すべての $ l $ に対して $ \|\mathbf{h}^l\|_2 \approx \|\mathbf{x}\|_2 $ が成り立つ。
• 各層の重み勾配のフロベニウスノルムは、入力ノルムと出力誤差ノルムの積に近似される。すなわち、$ \|\partial \ell / \partial \mathbf{W}^l\|_F \approx \|\delta(\mathbf{x},\mathbf{y})\|_2 \cdot \|\mathbf{x}\|_2 $ が成り立つ。
• これらのノルム等価性が高確率で成り立つためのネットワーク幅の有限下限が存在し、深さおよびサンプル数に依存する。
• 入力データが無限ストリームであっても、幅が導出された有限下限を超えていれば、活性化ノルム等価性は成り立つ。
• 理論的境界は、i.i.d.入力データや無限幅の仮定をせず導出されており、従来の漸近的結果を改善している。