[論文レビュー] Width Provably Matters in Optimization for Deep Linear Neural Networks

Simon S. Du, Wei Hu|arXiv (Cornell University)|Jan 24, 2019

Stochastic Gradient Optimization Techniques参考文献 40被引用数 31

ひとこと要約

この論文は、隠れ層の幅が $\widetilde{\Omega}(L \cdot r \cdot d_{\text{out}} \cdot \kappa^3)$ 以上である場合、深さ $L$、データランク $r$、出力次元 $d_{\text{out}}$、条件数 $\kappa$ の深層線形ニューラルネットワークにおいて、Xavier初期化を用いた勾配降下法が線形にグローバル最小値に収束することを証明している。この結果は、幅が勾配降下法の指数的収束障壁を明示的に解消することを示し、ランダム初期化のもとで初めて多項式時間のグローバル収束保証を達成した。

ABSTRACT

We prove that for an $L$-layer fully-connected linear neural network, if the width of every hidden layer is $ ildeΩ(L \cdot r \cdot d_{\mathrm{out}} \cdot κ^3 )$, where $r$ and $κ$ are the rank and the condition number of the input data, and $d_{\mathrm{out}}$ is the output dimension, then gradient descent with Gaussian random initialization converges to a global minimum at a linear rate. The number of iterations to find an $ε$-suboptimal solution is $O(κ\log(\frac{1}ε))$. Our polynomial upper bound on the total running time for wide deep linear networks and the $\exp\left(Ω\left(L ight) ight)$ lower bound for narrow deep linear neural networks [Shamir, 2018] together demonstrate that wide layers are necessary for optimizing deep models.

研究の動機と目的

• ランダム初期化のもとで、勾配降下法が広い深層線形ネットワークを多項式時間で最適化できるかどうかを解明すること。
• 標準的な Xavier 初期化のもとでグローバル収束を保証するための十分な幅条件を特定すること。
• 狭いネットワークにおける指数的下界と、広いネットワークにおける多項式上界の欠落との間のギャップを埋めること。
• データ、グローバル最小値、初期化に関する仮定をランダムなガウス初期化を除き一切設けずに、収束保証を提供すること。

提案手法

• 最適化軌道に沿って時変するグラム行列（前処理行列）を用いて収束ダイナミクスを分析する。
• 確率的行列理論を用いて、最適化中におけるグラム行列の固有値の上界と下界を確立する。
• 摂動解析を適用して、勾配ダイナミクスにおける高次誤差項が常に小さく保たれることを示す。
• 同分布のガウス行列の積のスペクトル解析を用いて、初期化時の望ましい性質を検証する。
• 固有値の境界と残差誤差の収縮に関する議論を組み合わせることで、線形収束レートを導出する。
• ブートストラップ論法を用いて、時間経過に伴う重み更新量と誤差項の境界を維持する。

実験結果

リサーチクエスチョン

• RQ1 ランダム初期化のもとで、勾配降下法は広い深層線形ネットワークを多項式時間で最適化できるか？
• RQ2 ランダム初期化のもとでグローバル収束を保証するための隠れ層の最小幅は何か？
• RQ3 幅が狭い深層線形ネットワークで観察される指数的収束障壁を解消できるか？
• RQ4 データやグローバル最小値、初期化に関する仮定を除き、ランダムガウス重み初期化のみを仮定すれば、グローバル収束を保証できるか？

主な発見

• 隠れ層の幅が $\widetilde{\Omega}(L \cdot r \cdot d_{\text{out}} \cdot \kappa^3)$ 以上である場合、Xavier初期化を用いた勾配降下法はグローバル最小値に線形に収束する。
• $\epsilon$-最適でない解に到達するまでの反復回数は $O(\kappa \log(1/\epsilon))$ であり、これは凸線形回帰のレートと一致する。
• 収束レートはタイトであり、1層線形回帰の場合に達成可能な最適レートと一致する。
• データのホワイトニング、グローバル最小値の構造、初期化が最適解に近いかどうかに関する仮定を一切設けずに、結果が成り立つ。
• 解析により、幅が明示的に重要であることが示された：広いネットワークでは多項式時間での最適化が可能であるが、狭いネットワークでは指数的収束時間が生じる。
• 証明は、時変するグラム行列の固有値特性を制御し、最適化軌道に沿った摂動効果を境界化することに依存している。