[論文レビュー] Towards Understanding the Importance of Shortcut Connections in Residual Networks

Tianyi Liu, Minshuo Chen+4 more|arXiv (Cornell University)|Sep 10, 2019

Domain Adaptation and Few-Shot Learning被引用数 22

ひとこと要約

この論文は、非凸な最適化のランドスケープにもかかわらず、残差ネットワーク（ResNets）がどのように効率的に学習できるかの理論的分析を提供する。勾配降下法において、ショートカット接続を備えた層に対して適切な正規化と初期化（ゼロ）を施すことで、誤った局所最適解を避けて多項式時間でグローバル最適解に収束することが示され、ショートカット接続が収束を可能にする重要な役割を明らかにする。

ABSTRACT

Residual Network (ResNet) is undoubtedly a milestone in deep learning. ResNet is equipped with shortcut connections between layers, and exhibits efficient training using simple first order algorithms. Despite of the great empirical success, the reason behind is far from being well understood. In this paper, we study a two-layer non-overlapping convolutional ResNet. Training such a network requires solving a non-convex optimization problem with a spurious local optimum. We show, however, that gradient descent combined with proper normalization, avoids being trapped by the spurious local optimum, and converges to a global optimum in polynomial time, when the weight of the first layer is initialized at 0, and that of the second layer is initialized arbitrarily in a ball. Numerical experiments are provided to support our theory.

研究の動機と目的

• 非凸な最適化のランドスケープにもかかわらず、実験的に標準的なフィードフォワード畳み込みニューラルネットワーク（CNNs）を上回る性能を示す残差ネットワーク（ResNets）の効率的学習の理論的背景を理解すること。
• 簡略化された2層非重複畳み込みResNetの最適化ランドスケープにおいて、ショートカット接続が誤った局所最適解を回避するのを助けるかどうかを調査すること。
• 学生ネットワークが教師ネットワークのアーキテクチャと一致する現実的設定において、勾配降下法の収束挙動を分析すること。
• 適切な正規化と初期化のもとで、勾配降下法が多項式時間でグローバル最適解に収束する条件を確立すること。

提案手法

• 研究は、ReLU活性化関数を用いた2層非重複畳み込みResNetを分析対象とし、出力は $ f(w,a,Z) = a^{ op}\sigma\left(Z^{ op}(\frac{\mathds{1}}{\sqrt{p}} + w)\right) $ で定義される。ここで $ \norm{v}_2 = 1 $ は $ v = \frac{\mathds{1}}{\sqrt{p}} + w $ を通じて強制される。
• 最適化問題は、学生ネットワークと教師ネットワーク出力の期待二乗誤差を最小化することとして定式化される：$ \mathbb{E}_Z[ f(w,a,Z) - g(v^*,a^*,Z) ]^2 $、ここで $ v^* $ と $ a^* $ は真のパラメータである。
• 勾配降下法は、別々のステップサイズ $ \eta_a $ と $ \eta_w $ を用いて適用され、分析は $ w = 0 $ および $ a $ が有界な球内にある初期化に焦点を当てる。
• 理論的分析により、適切な正規化と初期化のもとで、勾配降下法が誤った局所最適解を避け、多項式時間でグローバル最適解に収束することが証明された。
• 本手法は2段階の収束プロセスを導入する：最初の段階では $ a_t $ が $ a^* $ と一致し、$ w_t $ はゆっくりと変化する。その後、$ w_t $ と $ a_t $ が両方とも急速にグローバル最適解に収束する。
• 数値実験により理論的予測が検証され、ショートカット固有の正規化がない標準的な勾配降下法は誤った局所最適解に陥るが、提案された設定ではそれを回避することが確認された。

実験結果

リサーチクエスチョン

• RQ1 簡略化された2層ResNetにおいて、ショートカット接続の存在が勾配降下法が誤った局所最適解に陥るのを防ぐか？
• RQ2 非凸なResNet最適化問題に誤った局所最適解が存在する状況で、勾配降下法がグローバル最適解に収束するための初期化条件は何か？
• RQ3 適切な正規化とステップサイズの選択が、ResNet学習における勾配降下法の収束挙動にどのように影響するか？
• RQ4 簡略化されたResNetモデルにおける勾配降下法の理論的収束が、深層ResNetsにおける実際の学習成功とどのように関連するか？
• RQ5 特に $ w = 0 $ の初期化において、ショートカット接続を備えた層の初期化が、悪い局所最小値を避ける上で果たす役割は何か？

主な発見

• 適切な正規化と初期化（$ w = 0 $、$ a $ が有界な球内）のもとで、誤った局所最適解が存在するにもかかわらず、勾配降下法は多項式時間でグローバル最適解に収束する。
• アルゴリズムは2段階の収束プロセスを示す：最初の段階では $ a_t $ が $ a^* $ と一致し、$ w_t $ はゆっくりと変化する。その後、$ w_t $ と $ a_t $ が両方とも急速にグローバル最適解に収束する。
• ショートカット固有の正規化と初期化がない場合、勾配降下法は誤った局所最適解に陥る。数値実験によりこれが確認された。
• 理論的分析により、ショートカット接続が勾配の流れが効果的であることを保証することで、誤った局所最適解を避けるのを可能にしていることが示された。これは $ a_t $ が初期段階で $ a^* $ と一致しない場合でも同様に成立する。
• 初期化された $ a $ が有界な球内にある限り、収束は初期化に強く依存せず、$ w $ のゼロ初期化が悪い局所最小値を避けるために極めて重要である。
• 結果は、学習率のウォームアップや異なる学習率の使用といった実践的技法と整合しており、深層学習における一般的な訓練のヒューリスティクスに理論的根拠を与える。