[論文レビュー] Regularization in ResNet with Stochastic Depth

Soufiane Hayou, Fadhel Ayed|arXiv (Cornell University)|Dec 6, 2021

Neural Networks and Applications被引用数 1

ひとこと要約

この論文は、摂動理論と信号伝播を組み合わせることで、残差ネットワーク（ResNets）における確率的深さ（Stochastic Depth: SD）正則化の理論的分析を提供し、その正則化効果を説明する。訓練中の生存率の設定に関する原理的なガイドラインを導出し、汎化性能とモデル性能の向上を図る。

ABSTRACT

Regularization plays a major role in modern deep learning. From classic techniques such as L1,L2 penalties to other noise-based methods such as Dropout, regularization often yields better generalization properties by avoiding overfitting. Recently, Stochastic Depth (SD) has emerged as an alternative regularization technique for residual neural networks (ResNets) and has proven to boost the performance of ResNet on many tasks [Huang et al., 2016]. Despite the recent success of SD, little is known about this technique from a theoretical perspective. This paper provides a hybrid analysis combining perturbation analysis and signal propagation to shed light on different regularization effects of SD. Our analysis allows us to derive principled guidelines for choosing the survival rates used for training with SD.

研究の動機と目的

• 確率的深さ（SD）正則化がResNetsでどのように作用するかの理論的メカニズムを理解すること。
• SDが信号伝播と摂動理論を通じてモデルの汎化に与える影響を分析すること。
• SDを用いた訓練における生存率の選定に関する原理的なガイドラインを導出すること。
• 深層学習におけるSDの実験的成功と理論的理解のギャップを埋めること。

提案手法

• 著者らは、SDによる訓練が重みの更新と汎化に与える影響を分析するために摂動解析を用いる。
• 信号伝播解析を用いて、SD下でのネットワーク内を流れる活性化の様子を検討する。
• 摂動解析と信号伝播解析を統合し、SDの正則化効果を特徴付ける。
• 理論的導出を用いて、生存率とResNet訓練の安定性および汎化性能との関係を明示する。
• フレームワークを用いて、残差ブロック間で最適な生存率スケジュールを導出する。
• ネットワークの深さと層のダイナミクスに基づいて、生存率の選定を原理的に行う手法を提供する。

実験結果

リサーチクエスチョン

• RQ1 理論的に見ると、Stochastic DepthはどのようにResNetの訓練を正則化するのか？
• RQ2 生存率が、SDを用いたResNetsにおける信号伝播とモデル安定性に与える影響は何か？
• RQ3 訓練中にランダムな深さが生じる摂動効果が、汎化性能にどのように影響するのか？
• RQ4 SDベースの訓練における生存率の選定に関する原理的なガイドラインは何か？
• RQ5 信号伝播解析と摂動解析を併用することで、SDが汎化性能を向上させる成功を説明できるか？

主な発見

• Stochastic Depthは、ネットワークの訓練ダイナミクスに制御された摂動を導入することで、ResNetsの汎化性能を向上させる。
• 信号伝播解析により、適切に選ばれた生存率のもとで、SDは残差ブロック間で安定した勾配伝播を維持することが明らかになった。
• 摂動解析により、SDが個々の残差パスの影響を軽減することで、過学習を低減することが示された。
• 生存率の設定に関する理論的ガイドラインが導出され、信号の整合性を保つために深いブロックでは高い生存率を設定することが推奨された。
• このフレームワークにより、SDが実験的に優れた性能を発揮する理由が説明され、生存率選択の理論的根拠が提供された。
• 結果から、SDが単なるヒューリスティックではなく、信号伝播と摂動ダイナミクスに基づく堅固な理論的基盤を持つことが支持された。