[論文レビュー] Analysis of the Gradient Descent Algorithm for a Deep Neural Network Model with Skip-connections

E Weinan, Chao Ma+2 more|arXiv (Cornell University)|Apr 10, 2019

Stochastic Gradient Optimization Techniques参考文献 34被引用数 18

ひとこと要約

この論文はスキップ接続を備えた深層残差ネットワークにおける勾配降下法（GD）を分析し、過パラメータ化および適切な初期化のもとで、GDが指数的速さでグローバル最小値に収束することを証明する。さらに、GDの経路がランダム特徴モデルに一様に近いままであることを示し、目標関数が対応する再生核ヒルベルト空間（RKHS）に属する場合でさえ、ランダム特徴モデルのもの以上の非明示的正則化効果は生じないことを示している。

ABSTRACT

The behavior of the gradient descent (GD) algorithm is analyzed for a deep neural network model with skip-connections. It is proved that in the over-parametrized regime, for a suitable initialization, with high probability GD can find a global minimum exponentially fast. Generalization error estimates along the GD path are also established. As a consequence, it is shown that when the target function is in the reproducing kernel Hilbert space (RKHS) with a kernel defined by the initialization, there exist generalizable early-stopping solutions along the GD path. In addition, it is also shown that the GD path is uniformly close to the functions given by the related random feature model. Consequently, in this "implicit regularization" setting, the deep neural network model deteriorates to a random feature model. Our results hold for neural networks of any width larger than the input dimension.

研究の動機と目的

• スキップ接続を備えた深層ニューラルネットワークにおける勾配降下法（GD）が、どのような条件下でグローバル最小値に到達するかを理解すること。
• 特に過パラメータ化領域において、明示的な正則化なしに一般化可能な解をGDが見つけられるかどうかを調査すること。
• 深層残差ネットワークにおけるGDダイナミクスが、非明示的正則化効果を示すランダム特徴モデルで近似可能かどうかを同定すること。
• 初期化によって定義される再生核ヒルベルト空間（RKHS）に属する目標関数について、GD経路に沿った一般化誤差の見積もりを確立すること。
• 深層ネットワークのGD経路と関連するランダム特徴モデルとの関係、特に一様近似性と収束行動の観点から分析すること。

提案手法

• スキップ接続を備えた深層残差ネットワークモデルを分析し、各層で残差接続を追加する：$\bm{h}^{(l+1)} = \bm{h}^{(l)} + U^{(l)}\sigma(V^{(l)}\bm{h}^{(l)})$。
• ネットワーク幅が入力次元を上回る過パラメータ化領域を採用し、初期化近傍での局所的解析を可能にする。
• 活性化関数内部および外部のパラメータ間の時間スケールの分離を適用し、GD更新中は$V^{(l)}$を概ね凍結されたものとして扱う。
• 初期化時に固定された特徴を持つ関連するランダム特徴モデルにおけるGD経路によって、深層ネットワークにおけるGD経路を一様に近似することを確立する。
• ニューラル接線カーネルとグラム行列の非退化性に基づく局所的解析フレームワークを用い、指数的収束を証明する。
• 濃縮不等式と高確率的バインディングを用いて、初期化時のグラム行列の最小固有値が高確率でゼロから離れていることを示す。

実験結果

リサーチクエスチョン

• RQ1 スキップ接続を備えた深層残差ネットワークにおいて、勾配降下法がグローバル最小値に収束する条件は何か？
• RQ2 勾配降下法は明示的な正則化なしに一般化可能な解を見つけることができるか？その条件は目標関数にどのように依存するか？
• RQ3 深層残差ネットワークにおけるGD経路は、初期化時に固定された特徴を持つランダム特徴モデルの経路にどの程度近いか？
• RQ4 深層ネットワークは、ランダム特徴モデルのもの以上の非自明な非明示的正則化効果を示すか？
• RQ5 この過パラメータ化設定下での勾配降下法の収束速度は何か？また、ネットワークの深さと幅にどのように依存するか？

主な発見

• 過パラメータ化領域において、勾配降下法は高確率で経験的リスクのグローバル最小値に指数的速さで収束する。
• GD経路に沿った一般化誤差の見積もりが確立され、目標関数が初期化カーネルによって定義されるRKHSに属する場合には、早期停止によって一般化可能な解が得られることを示している。
• 深層残差ネットワークにおけるGD経路は、対応するランダム特徴モデルのGD経路に一様に近い。これは、非明示的正則化効果がランダム特徴モデルのものと同等であることを示唆している。
• 収束速度は指数的であり、$\eta L \lambda_n$に比例する減衰因子を有する。ここで$\eta$は学習率、$L$は深さ、$\lambda_n$はグラム行列の最小固有値である。
• ネットワーク幅が入力次元を上回る限り、深さや学習データ数に比例する幅のスケーリングを要しない。
• 初期化時のグラム行列の最小固有値がゼロから離れている限り、初期化の確率的変動に対して高確率で成り立つ。