[論文レビュー] The Loss Surface of Residual Networks: Ensembles and the Role of Batch Normalization

Etai Littwin, Lior Wolf|arXiv (Cornell University)|Nov 8, 2016

Adversarial Robustness in Machine Learning参考文献 4被引用数 7

ひとこと要約

この論文は、残差ネットワーク（ResNets）が、バッチ正規化のスケーリング行動によって駆動され、訓練中に有効な深さが増す浅いネットワークの動的アンサンブルとして機能することを明らかにしている。一般化されたスピングラスモデルを用いて、著者たちはこの動的アンサンブル行動が最適化における臨界点を減少させることを示し、高さの深いにもかかわらず、なぜ深層ResNetsが効果的に学習できるかを説明している。

ABSTRACT

Deep Residual Networks present a premium in performance in comparison to conventional networks of the same depth and are trainable at extreme depths. It has recently been shown that Residual Networks behave like ensembles of relatively shallow networks. We show that these ensembles are dynamic: while initially the virtual ensemble is mostly at depths lower than half the network's depth, as training progresses, it becomes deeper and deeper. The main mechanism that controls the dynamic ensemble behavior is the scaling introduced, e.g., by the Batch Normalization technique. We explain this behavior and demonstrate the driving force behind it. As a main tool in our analysis, we employ generalized spin glass models, which we also use in order to study the number of critical points in the optimization of Residual Networks.

研究の動機と目的

• 深層残差ネットワークがその深さにもかかわらず、なぜ効果的に学習できるのかを理解すること。
• バッチ正規化がResNetsの最適化の多様性に果たす役割を調査すること。
• 一般化されたスピングラスモデルを用いて、ResNetsの損失関数の表面を分析すること。
• ResNetsにおけるスキップ接続によって形成される仮想アンサンブルの動的挙動を説明すること。

提案手法

• 著者たちは、スピングラスモデルを一般化して、ResNetsの損失関数の表面を表現し、それらを多球面スピングラスモデルのハミルトニアンと結びつける。
• ResNetsを、係数 $\epsilon_r$ でパラメータ化された深さ分布を持つ浅いネットワークのアンサンブルとしてモデル化する。これらの係数は訓練中に変化する。
• Auffinger & Arous (2013) が導出した $\theta_k(u, \bm{\epsilon})$ を用いて、臨界点の漸近的期待数を分析し、最適化の複雑さを検討する。
• 不均一な相互作用の混合が均一な場合よりも臨界点を減らすことを示すために、制約付き最適化フレームワークを適用する。
• バッチ正規化の役割を、$\epsilon_r$ 係数への動的シフトとしてモデル化し、これによりアンサンブルの深さ分布が変化することを分析する。
• 理論的結果は、訓練の進行に伴い有効な深さが増すという、実験的知見によって裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 ResNetにおける仮想アンサンブルの有効な深さは、訓練中にどのように変化するか？
• RQ2 ResNetsにおけるアンサンブル深さの動的挙動を駆動するメカニズムは何か？
• RQ3 バッチ正規化は、仮想アンサンブル内の有効深さの分布にどのように影響するか？
• RQ4 ResNetsの損失関数の表面とスピングラスモデルの関係は何か？
• RQ5 なぜResNetsは極めて深いにもかかわらず、一般化が良く、効果的に学習できるのか？

主な発見

• ResNetにおける仮想アンサンブルは、初期段階では浅いネットワーク（ネットワーク深さの半分未満）が支配的であり、訓練が進むにつれて有効な深さが動的に増加する。
• この動的挙動の主な駆動要因は、時間とともに増加するバッチ正規化によるスケーリングであり、これによりアンサンブルの分布がより深いパスへとシフトする。
• 一般化されたスピングラスモデルにおける不均一な相互作用の混合のおかげで、同じ深さの従来のネットワークよりも、ResNetsの最適化の多様性における臨界点の数が少ない。
• 理論的分析により、任意の不均一なスピングラス相互作用の混合は、単一の相互作用強度しか持たない均一な混合よりも、有限インデックスの臨界点を少なく含むことが示された。
• 損失関数が初期段階に低エネルギーに達するため、浅いアンサンブルが支配的である間、高インデックスの臨界点に閉じ込められる可能性が低くなる。
• 臨界点を最小化する最適な設定は、最も深い相互作用（$r=p$）のみが活性化されている場合であり、これはより深いアンサンブルが最適化にとって好ましいことを示唆している。