[論文レビュー] Demystifying ResNet

Sihan Li, Jiantao Jiao+2 more|arXiv (Cornell University)|Nov 3, 2016

Domain Adaptation and Few-Shot Learning参考文献 7被引用数 5

ひとこと要約

この論文は、短絡接続の長さが2の残差ネットワーク（ResNets）が他の短絡接続長さよりも優れている理由を理論的に説明している。短絡接続長さ2では、初期化時のヘッセ行列の条件数が深さに依存しないことを示しており、これにより非常に深いネットワークの安定した学習が可能になる。一方、他の長さでは、悪条件なヘッセ行列や高次の鞍点が生じ、最適化を妨げる。

ABSTRACT

The Residual Network (ResNet), proposed in He et al. (2015), utilized shortcut connections to significantly reduce the difficulty of training, which resulted in great performance boosts in terms of both training and generalization error. It was empirically observed in He et al. (2015) that stacking more layers of residual blocks with shortcut 2 results in smaller training error, while it is not true for shortcut of length 1 or 3. We provide a theoretical explanation for the uniqueness of shortcut 2. We show that with or without nonlinearities, by adding shortcuts that have depth two, the condition number of the Hessian of the loss function at the zero initial point is depth-invariant, which makes training very deep models no more difficult than shallow ones. Shortcuts of higher depth result in an extremely flat (high-order) stationary point initially, from which the optimization algorithm is hard to escape. The shortcut 1, however, is essentially equivalent to no shortcuts, which has a condition number exploding to infinity as the number of layers grows. We further argue that as the number of layers tends to infinity, it suffices to only look at the loss function at the zero initial point. Extensive experiments are provided accompanying our theoretical results. We show that initializing the network to small weights with shortcut 2 achieves significantly better results than random Gaussian (Xavier) initialization, orthogonal initialization, and shortcuts of deeper depth, from various perspectives ranging from final loss, learning dynamics and stability, to the behavior of the Hessian along the learning process.

研究の動機と目的

• 短絡接続長さ2が、他の短絡接続長さ（1または3）とは異なり、非常に深いネットワークの学習を可能にする理由を理論的に説明すること。
• 短絡接続長さに依存する深層残差ネットワークのゼロ初期化点における最適化の多様性を分析し、特にヘッセ行列の条件数とその短絡接続長さへの依存性に焦点を当てる。
• 短絡接続長さ2が、最適化を妨げる悪条件なヘッセ行列や高次の鞍点を回避する一方で、短絡接続長さ1は条件数が爆発する線形ネットワークに類似した振る舞いを示すことを示すこと。
• 異なる初期化方針と短絡接続長さにおける学習ダイナミクス、損失収束、ヘッセ行列の挙動を比較する広範な実験を通じて、理論的知見の妥当性を検証すること。

提案手法

• さまざまな短絡接続長さを持つ深層残差ネットワークについて、ゼロ初期化点における損失関数のヘッセ行列を理論的に分析する。
• 短絡接続長さ2ではヘッセ行列の条件数が有界（深さに依存しない）であることを示す導出を行う一方、短絡接続長さ1では条件数が深さに伴い無限大に発散することを示す。
• 短絡接続長さが2より大きい場合、ゼロ初期化点が高次の鞍点（ヘッセ行列がゼロ行列）となることを証明する。このため、最適化中にその点から脱出するのは困難である。
• MNISTおよびCIFAR-10データセットを用いた線形および非線形ResNetアーキテクチャを用いた実験を通じて、学習ダイナミクス、最終損失、ヘッセ固有値の挙動を比較する。
• 線形補間を用いて、学習経路全体における異なる損失レベルでの固有値統計（最大値、10パーセンタイル、負の固有値比）を計算する。
• 初期化法の比較：深さとパラメータ数を一定に保ちながら、ランダムガウス（Xavier）、直交、ゼロ初期化（短絡接続長さ2）を比較する。

実験結果

リサーチクエスチョン

• RQ1 なぜResNetsの短絡接続長さ2が、非常に深いネットワークの学習を唯一可能にするのか？短絡接続長さ1や3では同様の利点が得られないのはなぜか？
• RQ2 深層残差ネットワークにおいて、短絡接続長さに応じてゼロ初期化点におけるヘッセ行列の条件数はどのように変化するか？
• RQ3 異なる短絡接続長さにおけるゼロ初期化点の臨界点の性質は何か？最適化ダイナミクスにどのように影響するか？
• RQ4 ゼロ初期化と短絡接続長さ2は、Xavier や直交初期化と比較して、学習の安定性や収束速度において優れているか？
• RQ5 学習中に、短絡接続長さごとにヘッセ固有値分布や負の曲率挙動はどのように異なるか？

主な発見

• 短絡接続長さ2では、ゼロ初期化点におけるヘッセ行列の条件数が深さに依存せず一定（深さに依存しない）であり、これにより任意に深いネットワークの安定した学習が可能になる。
• 短絡接続長さ1では、条件数が深さに伴い無限大に発散するため、最適化が次第に困難になる。
• 短絡接続長さが2より大きい場合、ゼロ初期化点は高次の鞍点（ヘッセ行列がゼロ行列）となるため、最適化中にその点から脱出するのは困難である。
• 実験では、小さな重み（ゼロ）で初期化し、短絡接続長さ2を採用した場合、特に深いネットワークにおいてXavier や直交初期化よりも顕著に優れた最終損失が得られる。
• 2短絡接続ネットワークは、より速い学習ダイナミクスと低い負の固有値比を示しており、低損失の臨界点への収束傾向が強い。
• CIFAR-10では、400層を超えて深くなるに従い、短絡接続長さ2のResNetsでのみ性能向上が見られ、他のネットワークでは性能が低下する。