[論文レビュー] Stochastic Training of Residual Networks: a Differential Equation Viewpoint

Qi Sun, Yunzhe Tao+1 more|arXiv (Cornell University)|Dec 1, 2018

Adversarial Robustness in Machine Learning参考文献 26被引用数 18

ひとこと要約

本稿では、確率的勾配降下法による残差ネットワーク（ResNets）の学習を、確率的微分方程式（SDEs）の弱近似として解釈する微分方程式フレームワークを提案する。確率的修正方程式法を適用することで、ドロップアウトの導入が後退コルモゴロフ方程式における人工的粘性として作用し、損失関数の形状を平坦化させ、一般化性能を向上させることを示した。画像分類タスクにおける実験により、訓練損失が高くなるにもかかわらず、テスト精度が向上したことが確認された。

ABSTRACT

During the last few years, significant attention has been paid to the stochastic training of artificial neural networks, which is known as an effective regularization approach that helps improve the generalization capability of trained models. In this work, the method of modified equations is applied to show that the residual network and its variants with noise injection can be regarded as weak approximations of stochastic differential equations. Such observations enable us to bridge the stochastic training processes with the optimal control of backward Kolmogorov's equations. This not only offers a novel perspective on the effects of regularization from the loss landscape viewpoint but also sheds light on the design of more reliable and efficient stochastic training strategies. As an example, we propose a new way to utilize Bernoulli dropout within the plain residual network architecture and conduct experiments on a real-world image classification task to substantiate our theoretical findings.

研究の動機と目的

• 実験的観察を越えて、確率的学習におけるResNetsの正則化メカニズムを理解すること。
• 確率的ResNet学習と確率的微分方程式との間の連続時間的関係を確立すること。
• ドロップアウトを後退コルモゴロフ方程式における2次元人工的粘性項として解釈すること。
• 損失関数の形状の正則化と一般化性能の向上をPDEに基づく視点から提供すること。
• 実世界の画像分類タスクにおける理論的枠組みの実証的評価を実施すること。

提案手法

• ノイズを注入したResNetの連続時間的SDE近似を導出するために、確率的修正方程式法を適用する。
• 伊藤の公式を用いて、確率的学習プロセスと後退コルモゴロフ方程式の最適制御との関連を確立する。
• プレーンなResNetsの学習ダイナミクスを、輸送方程式に従う系の制約付き最適化問題として解釈する。
• 注入されたノイズがPDE定式化において2次元の人工的粘性項として作用し、損失関数の形状を滑らかにすることが示された。
• プレーンなResNetの各残差ブロックの後にベルヌーイドロップアウトを挿入することで、新たな確率的学習戦略を提案する。
• 理論的主張の妥当性を検証するために、変動する生存確率を用いて実世界の画像分類（CIFAR-10）で実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 確率的微分方程式の観点から、ResNetsにおける確率的学習をどのように解釈できるか？
• RQ2 PDEの観点から、ドロップアウトが損失関数の形状に果たす役割は何か？
• RQ3 ResNetsにおけるノイズ注入は、後退コルモゴロフ方程式の最適制御とどのように関連するか？
• RQ4 ドロップアウトの人工的粘性効果を、一般化性能の向上と定量的に結びつけることができるか？
• RQ5 深層ResNetsにおける正則化と収束のバランスを最適化するための最適なドロップアウト確率は何か？

主な発見

• ノイズを注入したResNetsの確率的学習は、乗法的ノイズを伴うSDEの弱近似と数学的に同等である。
• ドロップアウトの導入により、後退コルモゴロフ方程式に2次元の人工的粘性項が導入され、鋭い極小点が減少し、損失関数の形状が平坦化される。
• 理論的分析により、この正則化効果が悪い局所的極小点の数を減らし、それらの間のエネルギー障壁を低減することが示された。
• CIFAR-10における実験結果から、最適なドロップアウト（例：p=85–97.5%）を用いた確率的学習により、訓練損失が高くなるにもかかわらず、一般化性能が向上し、より高いテスト精度が達成された。
• 訓練誤差と検証誤差の差が縮小され、特にPreResNet-56やPreResNet-110のような深層ネットワークにおいて、一般化性能の向上が顕著に観察された。
• ドロップアウト確率が100%に近づくと、正則化効果が薄れ、性能向上も消失するため、フィッティングと正則化のトレードオフが確認された。