[論文レビュー] On the Global Convergence of Training Deep Linear ResNets

Difan Zou, Philip M. Long+1 more|arXiv (Cornell University)|Mar 2, 2020

Stochastic Gradient Optimization Techniques参考文献 38被引用数 8

ひとこと要約

本稿は、固定された入力および出力線形変換を伴う深層線形残差ネットワーク（ResNets）の学習において、勾配降下法（GD）および確率的勾配降下法（SGD）のグローバル収束を確立する。ゼロ初期化のもとで、両アルゴリズムが入出力変換に関する一般条件を満たす場合、グローバル最小値に収束することを証明し、さらにガウス確率的変換がネットワーク幅 $ m = \Omega(kr\kappa^2) $ を満たす場合に収束を保証することを示した。これは、先行研究の幅要件を $ O(\kappa L) $ の要因で改善した。

ABSTRACT

We study the convergence of gradient descent (GD) and stochastic gradient descent (SGD) for training $L$-hidden-layer linear residual networks (ResNets). We prove that for training deep residual networks with certain linear transformations at input and output layers, which are fixed throughout training, both GD and SGD with zero initialization on all hidden weights can converge to the global minimum of the training loss. Moreover, when specializing to appropriate Gaussian random linear transformations, GD and SGD provably optimize wide enough deep linear ResNets. Compared with the global convergence result of GD for training standard deep linear networks (Du & Hu 2019), our condition on the neural network width is sharper by a factor of $O(κL)$, where $κ$ denotes the condition number of the covariance matrix of the training data. We further propose a modified identity input and output transformations, and show that a $(d+k)$-wide neural network is sufficient to guarantee the global convergence of GD/SGD, where $d,k$ are the input and output dimensions respectively.

研究の動機と目的

• 深層線形ResNetsの学習におけるSGDの理論的収束保証の欠如に対処する。
• 入出力変換に関する緩い条件のもとで、深層線形ResNetsにおけるGDおよびSGDのグローバル収束を確立する。
• 標準的な深層線形ネットワークに対する先行研究と比較して、より鋭い幅要件を提供する。
• 確率的勾配が存在する状況におけるGDおよびSGDの最適化軌道を分析する。これは不確実性を導入する。
• 深さに依存しない $ (d+k) $ 幅のネットワークでグローバル収束を保証する変換スキームを提案する。

提案手法

• 固定された線形入力および出力変換を伴う $ L $ 階層の深層線形ResNetsの学習目的関数を定式化する。
• 勾配フロー解析を用い、最適化軌道に沿った制限付き勾配バインディングおよび滑らかさの性質を導出する。
• 重み行列の特異値ノルムを制御することで、確率的勾配が存在する場合でも、GDおよびSGDの両方でこれらの性質が成り立つことを確立する。
• 行列の摂動理論およびフロベニウスノルムのバインディングを用いて、近接する重み行列間の損失の差を分析する。
• ジェンセンの不等式および行列ノルムの不等式を用いて、損失関数のテイラー展開における2次項をバインディングする。
• グローバル収束に必要なネットワーク幅を $ d+k $ にまで低減する変更された恒等変換入出力変換を導入する。

実験結果

リサーチクエスチョン

• RQ1 深層線形ResNetsにおけるGDがグローバルに収束するための入出力変換に関する条件は何か？
• RQ2 SGDが深層線形ResNetsにおいてグローバルに収束することが保証される条件は何か？
• RQ3 本稿の結果と標準的な深層線形ネットワークに関する先行研究とを比較した場合、グローバル収束に必要なネットワーク幅はどのように異なるか？
• RQ4 ガウス確率的線形変換が、十分に広い深層線形ResNetsにおいてGDおよびSGDのグローバル収束を保証できるか？
• RQ5 深さに依存しない $ d+k $ の幅でグローバル収束を保証する変換スキームは存在するか？

主な発見

• 入出力変換が本稿で導出された一般条件を満たす場合、すべての隠れ層重みをゼロ初期化したGDおよびSGDは、グローバル最小値にグローバルに収束する。
• 適切なガウス確率的線形変換を用いる場合、ネットワーク幅が $ m = \Omega(kr\kappa^2) $ を満たす限り、GDは高確率で $ O(\kappa \log(1/\epsilon)) $ 回の反復で $ \epsilon $-誤差以内にグローバル最小値に収束する。
• 本稿の結果では、標準的な深層線形ネットワークに関する先行研究と比較して、必要なネットワーク幅が $ O(\kappa L) $ の要因で改善されており、条件が著しく鋭くなっている。
• 変更された恒等入出力変換を用いることで、$ d $ および $ k $ をそれぞれ入力次元および出力次元として、$ (d+k) $ 幅のネットワークでもグローバル収束が保証される。
• 解析により、制限付き勾配バインディングおよび滑らかさの性質が、GDおよびSGDの最適化軌道全体で成り立つことが証明され、確率的勾配の存在下でもグローバル収束が可能であることが示された。
• 数値実験および理論的バインディングにより、幅の条件を満たす場合、収束速度が深さに依存しないことが確認された。これは、幅が学習の安定化に果たす役割を強調している。