[論文レビュー] Stabilize Deep ResNet with A Sharp Scaling Factor $τ$

Huishuai Zhang, Dahua Yu+3 more|arXiv (Cornell University)|Mar 17, 2019

Adversarial Robustness in Machine Learning参考文献 36被引用数 11

ひとこと要約

本稿では、残差ネットワーク（ResNets）の訓練中に前向きおよび後ろ向きプロセスを安定化させるために、$L$ を残差ブロックの数として、鋭いスケーリング係数 $\tau = 1/\sqrt{L}$ を提案する。著者らは、$\tau = O(1/\sqrt{L})$ が安定性にとって必要かつ十分であることを証明し、過パラメータ化されたResNetsにおいて勾配降下法のグローバル収束を可能にし、深さに依存しない収束速度を達成する。また、バッチ正規化を用いない状態でも、訓練の安定性と性能が向上することを実証的に示している。

ABSTRACT

We study the stability and convergence of training deep ResNets with gradient descent. Specifically, we show that the parametric branch in the residual block should be scaled down by a factor $τ=O(1/\sqrt{L})$ to guarantee stable forward/backward process, where $L$ is the number of residual blocks. Moreover, we establish a converse result that the forward process is unbounded when $τ>L^{-\frac{1}{2}+c}$, for any positive constant $c$. The above two results together establish a sharp value of the scaling factor in determining the stability of deep ResNet. Based on the stability result, we further show that gradient descent finds the global minima if the ResNet is properly over-parameterized, which significantly improves over the previous work with a much larger range of $τ$ that admits global convergence. Moreover, we show that the convergence rate is independent of the depth, theoretically justifying the advantage of ResNet over vanilla feedforward network. Empirically, with such a factor $τ$, one can train deep ResNet without normalization layer. Moreover, for ResNets with normalization layer, adding such a factor $τ$ also stabilizes the training and obtains significant performance gain for deep ResNet.

研究の動機と目的

• 勾配降下法下での深層ResNetsにおける前向き／後ろ向き安定性の非漸近的解析を確立すること。
• 任意のネットワーク深さにわたる安定な訓練を保証するスケーリング係数 $\tau$ の鋭い閾値を特定すること。
• 過パラメータ化されたResNetsにおいて $\tau \leq \tilde{O}(1/\sqrt{L})$ のとき、勾配降下法がグローバル最小値にグローバルに収束することを示すこと。
• $\tau$ スケーリング下で勾配降下法の収束速度が深さに依存しないことの証明により、ResNetが単純な順方向ネットワークよりも優位であることを正当化すること。
• $\tau = 1/\sqrt{L}$ を用いることで、正規化層なしでもResNetが効果的に訓練できることを実証的に検証すること。

提案手法

• パラメトリックブランチに学習可能なスケーリング係数 $\tau$ を適用する残差ブロック構造を導入：$h_l = \phi(h_{l-1} + \tau \mathcal{F}_l(h_{l-1}))$。
• ランダム行列理論を用いて前向きプロセスの特異値ノルムを分析し、$\tau = O(1/\sqrt{L})$ のとき、ランダムな重みの統計的平均化により出力ノルムの増大が制御されることを示す。
• 逆転結果を確立：任意の $c > 0$ に対して $\tau > L^{-1/2 + c}$ である場合、期待される出力ノルムは $L^c$ の割合で増大し、不安定性を示す。
• 過パラメータ化されたResNetsにおいて $\tau \leq \tilde{O}(1/\sqrt{L})$ のとき、勾配降下法がグローバル最小値にグローバルに収束することを証明し、収束速度が深さに依存しないことを示す。
• バッチ正規化やFixupと比較し、学習率のウォームアップや初期化スケーリングの注意を要しないにもかかわらず、より強い安定性保証を提供することを示す。
• CIFAR-10を用いてResNet110およびResNet1202で実証的検証を行い、$\tau = 1/L$、$1/\sqrt{L}$、$1/L^{1/4}$ を比較し、学習率を最適化して安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 任意の深さの深層ResNetsにおいて、前向きおよび後ろ向きの安定性を保証する鋭いスケーリング係数 $\tau$ は何か？
• RQ2 過パラメータ化されたResNetsにおいて $\tau = O(1/\sqrt{L})$ のとき、勾配降下法がグローバル収束を達成できるか？
• RQ3 提案された $\tau$ スケーリング下で、勾配降下法の収束速度はネットワークの深さに依存しないか？
• RQ4 バッチ正規化やFixupと比較して、提案された $\tau$-スケーリングは訓練の安定性および性能においてどのように異なるか？
• RQ5 $\tau = 1/\sqrt{L}$ を適用した場合、正規化層なしでもResNetを効果的に訓練できるか？

主な発見

• スケーリング係数 $\tau = O(1/\sqrt{L})$ は、深層ResNetsにおける前向きおよび後ろ向き伝搬の安定性にとって必要かつ十分である。
• $\tau = L^{-1/2 + c}$（任意の $c > 0$）のとき、期待される出力ノルムは少なくとも $L^c$ の割合で増大し、より大きな $\tau$ における不安定性を証明する。
• $\tau \leq \tilde{O}(1/\sqrt{L})$ のとき、過パラメータ化されたResNetsにおいて勾配降下法はグローバル最小値にグローバルに収束し、深さに依存しない収束速度を示す。
• 実証的に、$\tau = 1/\sqrt{L}$ を用いたResNetは安定に訓練され、正規化層なしでCIFAR-10で92.5％の検証精度を達成し、Fixup や $\tau = 1/L$ を上回る性能を示した。
• バッチ正規化を備えたResNetsに $\tau = 1/\sqrt{L}$ を追加すると性能がさらに向上し、その補完的利点を示した。
• この手法により、学習率のウォームアップの必要性が排除された。一方、バッチ正規化は非常に深いネットワークにおいても不安定性を示し続ける。