[論文レビュー] Exponential Convergence Time of Gradient Descent for One-Dimensional Deep Linear Neural Networks

Ohad Shamir|arXiv (Cornell University)|Sep 23, 2018

Stochastic Gradient Optimization Techniques被引用数 27

ひとこと要約

この論文は、標準的なランダム初期化のもとでも、凸で偽の局所最適解をもたない目的関数において、深さ1次元線形ニューラルネットワークにおける勾配降下法が、収束に指数的時間（具体的には $ε(\tilde{\mathcal{O}}(k))$）を要することを示している。この結果は、深さ $k$ が大きい場合に勾配降下法による深層線形モデルの学習に根本的な非効率性が存在することを明らかにする。

ABSTRACT

We study the dynamics of gradient descent on objective functions of the form $f(\\prod_{i=1}^{k} w_i)$ (with respect to scalar parameters $w_1,\\ldots,w_k$), which arise in the context of training depth-$k$ linear neural networks. We prove that for standard random initializations, and under mild assumptions on $f$, the number of iterations required for convergence scales exponentially with the depth $k$. We also show empirically that this phenomenon can occur in higher dimensions, where each $w_i$ is a matrix. This highlights a potential obstacle in understanding the convergence of gradient-based methods for deep linear neural networks, where $k$ is large.

研究の動機と目的

• ランダム初期化を伴う深層線形ニューラルネットワークにおける勾配降下法の有限時間収束挙動を調査すること。
• 目的関数に局所最適解がない場合でも、勾配ベースの最適化法が効率的に収束するかどうかを特定すること。
• 標準的な初期化方針（例：Xavier）が深層線形モデルにおいて指数的収束時間を引き起こすかどうかを分析すること。
• 1次元設定における観察された指数的収束時間の性質が、高次元行列型線形ネットワークへと拡張可能かどうかを調査すること。

提案手法

• 各 $w_i$ がスカラーで、$f$ が凸かつ微分可能関数である目的関数 $F(w_1, \dots, w_k) = f(\prod_{i=1}^k w_i)$ における勾配降下法の最適化ダイナミクスを分析する。
• 関数 $f$ にやや弱い仮定を置くと、ランダム初期化のもとで勾配降下法が $\exp(\Omega(k))$ 回の反復を要することが示される。
• 2段階の解析を用いる：まず、重みの積が0に近い状態で指数的回数にわたり停滞することを示し、次に、重みの1つが負で絶対値が大きいと勾配が小さくなり収束が遅れることを証明する。
• 集中法と摂動解析を用いて重み更新の大きさを評価し、重みの積が0を crosses する際、収束が指数的に遅いことを示す。
• 各 $w_i$ が行列である高次元設定においても、同様の指数的収束時間が観測されることを実験的に検証する。
• 動的ダイナミクスにおける対称性と符号反転不変性を活用し、重要な重みが負になった後、システムが元の状態の鏡像版と同一の挙動を示し、収束が遅い状態が維持されることを示す。

実験結果

リサーチクエスチョン

• RQ1 局所最適解がないにもかかわらず、ランダム初期化のもとで勾配降下法が深層1次元線形ネットワークで多項式時間で収束可能か？
• RQ2 深層線形モデルにおける勾配降下法の収束時間は、ネットワークの深さ $k$ にどのように依存するか？
• RQ3 スカラー型ネットワークで観察された指数的収束時間は、重みが行列（すなわち高次元設定）となった場合にも継続するか？
• RQ4 Xavier や近似恒等初期化といった標準的な初期化方針は、深層線形ネットワークにおける勾配降下法の収束速度にどのように影響するか？
• RQ5 恒等初期化からの微小な摂動が、深層線形モデルにおける指数的収束時間を回避できるか？

主な発見

• ランダム初期化を伴う深層1次元線形ネットワークにおける勾配降下法は、目的関数が凸で偽の局所最適解をもたない場合でさえ、収束に $\exp(\Omega(k))$ 回の反復を要する。
• 収束時間は深さ $k$ に対して指数的であり、関数 $f$ にやや弱い仮定と、Xavier や近似恒等初期化を含む標準的な初期化方針のもとでも下界が成立する。
• 収束先が $\epsilon$-最適解となるまでの反復回数の上界として、$\exp(\tilde{\mathcal{O}}(k)) \cdot \max\{1, \log(1/\epsilon)\}$ が確立された。
• 指数的収束時間は、重みの積が0に近い領域に勾配降下法が長期間滞在し、勾配が消える（vanishing gradients）ため生じる。
• 実験的結果から、各重みが行列である高次元設定でも同様の指数的収束挙動が観測され、この現象がスカラー型ネットワークに限定されないことが示唆される。
• 1つの重みが負で絶対値が大きくなると、動的ダイナミクスは元の状態の符号反転版と同一になり、収束が遅い状態が維持される。