[論文レビュー] Global Convergence of Gradient Descent for Deep Linear Residual Networks

Lei Wu, Qingcan Wang+1 more|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques被引用数 10

ひとこと要約

この論文は、深層線形残差ネットワークにおける勾配降下法のグローバル収束を可能にするゼロ非対称（ZAS）初期化を導入する。ZASのもとでは、勾配降下法が $O(L^3 \log(1/\varepsilon))$ 回の反復で $\varepsilon$-最適解に到達することを証明しており、深さ $L$ に対して多項式スケーリングされる。これは、標準的初期化では指数的時間に陥るのとは対照的である。

ABSTRACT

We analyze the global convergence of gradient descent for deep linear residual networks by proposing a new initialization: zero-asymmetric (ZAS) initialization. It is motivated by avoiding stable manifolds of saddle points. We prove that under the ZAS initialization, for an arbitrary target matrix, gradient descent converges to an $\varepsilon$-optimal point in $O\left( L^3 \log(1/\varepsilon) ight)$ iterations, which scales polynomially with the network depth $L$. Our result and the $\exp(\Omega(L))$ convergence time for the standard initialization (Xavier or near-identity) \cite{shamir2018exponential} together demonstrate the importance of the residual structure and the initialization in the optimization for deep linear neural networks, especially when $L$ is large.

研究の動機と目的

• 標準的初期化のもとでの深層線形残差ネットワークにおける勾配降下法の劣悪な最適化ダイナミクスを解決すること。
• 標準的初期化が深層ネットワークで指数的収束時間を引き起こす理由を特定すること。
• 安定多様体を避ける新しい初期化スキームを設計し、グローバル収束を可能にすること。
• ネットワークの深さ $L$ に対して多項式的にスケーリングする理論的収束レートを確立すること。
• 残差構造と初期化が深層ネットワーク最適化に与える影響を明らかにすること。

提案手法

• 残差接続をゼロに初期化し、本体パスを小さなランダム重みで初期化するゼロ非対称（ZAS）初期化を提案する。
• 深層線形残差ネットワークにおけるZAS初期化のもとでの勾配降下法の最適化軌道を分析する。
• 新規な分析フレームワークを用いて、ZASが勾配降下法の収束を遅らせる安定多様体を回避することを示す。
• ZASのもとで $\varepsilon$-最適解に到達するまでの反復回数の収束バウンド $O(L^3 \log(1/\varepsilon))$ を確立する。
• Xavier や近似恒等写像初期化などの標準的初期化と比較し、後者は $\exp(\Omega(L))$ の収束時間を示すことを示す。
• 線形代数と力学系解析を用いて、ZASのもとでグローバル収束が証明されることを示す。

実験結果

リサーチクエスチョン

• RQ1 標準的初期化のもとで、勾配降下法は深層線形残差ネットワークにおいてグローバルに収束できるか？
• RQ2 どの初期化スキームが深層線形残差ネットワークで多項式時間収束を可能にするか？
• RQ3 なぜ標準的初期化が深層ネットワークで指数的遅延収束を引き起こすのか？
• RQ4 残差構造と初期化の相互作用が最適化ダイナミクスにどのように影響するか？
• RQ5 適切に設計された初期化のもとで、深層線形ネットワークにおける勾配降下法の理論的収束レートは何か？

主な発見

• ゼロ非対称（ZAS）初期化のもとでは、勾配降下法は $O(L^3 \log(1/\varepsilon))$ 回の反復で $\varepsilon$-最適解に収束する。
• 収束レートは深さ $L$ に対して多項式的にスケーリングされるが、標準的初期化（Xavier や近似恒等写像）では $\exp(\Omega(L))$ の時間がかかる。
• ZAS初期化は、標準的設定で収束を遅くする安定多様体を回避する。
• この結果は、残差構造と適切な初期化が、深層線形ネットワークにおける効率的最適化に不可欠であることを示している。
• 理論的分析により、非線形性がなくても適切な初期化のもとでグローバル収束が達成可能であることが確認された。
• 本研究は、新規な初期化スキームのもとで深層線形残差ネットワークにおける勾配降下法の確実な収束保証を確立した。