[論文レビュー] Deep Information Propagation

Samuel S. Schoenholz, Justin Gilmer+2 more|arXiv (Cornell University)|Nov 4, 2016

Statistical Mechanics and Entropy被引用数 23

ひとこと要約

この論文は、訓練されていない、ランダムに初期化された深層ニューラルネットワークにおける信号および勾配伝播の平均場理論を導入し、情報伝播を制限する深さスケールを特定する。ネットワークが訓練可能であるのは、これらの深さスケール——特に臨界的深さスケール ξ_c —— が大きなまま保たれる場合に限られ、訓練成功度は ξ_c が発散する「カオスの縁」付近でピークに達する。ドロップアウトはこの臨界定性的を破壊し、訓練可能な深さを制限する。

ABSTRACT

We study the behavior of untrained neural networks whose weights and biases are randomly distributed using mean field theory. We show the existence of depth scales that naturally limit the maximum depth of signal propagation through these random networks. Our main practical result is to show that random networks may be trained precisely when information can travel through them. Thus, the depth scales that we identify provide bounds on how deep a network may be trained for a specific choice of hyperparameters. As a corollary to this, we argue that in networks at the edge of chaos, one of these depth scales diverges. Thus arbitrarily deep networks may be trained only sufficiently close to criticality. We show that the presence of dropout destroys the order-to-chaos critical point and therefore strongly limits the maximum trainable depth for random networks. Finally, we develop a mean field theory for backpropagation and we show that the ordered and chaotic phases correspond to regions of vanishing and exploding gradient respectively.

研究の動機と目的

• 訓練されていない、ランダムに初期化された深層ニューラルネットワークにおける信号伝播の理論的限界を理解すること。
• ランダムなネットワークアーキテクチャを通じて情報がどの程度まで伝わるかを支配する深さスケールを同定すること。
• 平均場理論を用いて信号伝播、勾配フロー、およびネットワークの訓練可能性の間の明確な関係を確立すること。
• なぜ深層ネットワークの訓練が秩序からカオスへの遷移点付近でのみ可能であるかを説明すること。
• ドロップアウトが臨界定性的および最大訓練可能深さに与える影響を分析すること

提案手法

• 独立同分布のガウス分布に従う重みとバイアスを有する、訓練されていない全結合の順方向ネットワークにおける信号伝播を分析するための平均場形式を構築する。
• 入力信号の相関の層間減衰を特徴付ける深さスケール ξ_c を導入し、信号共分散の進化の固定点解から得られる。
• 平均場アプローチを逆誤差伝搬に拡張し、勾配フローの双対形式を導出し、勾配が消えたり爆発したりする領域を同定する。
• 深さスケール ξ_c を用いてランダムネットワークの最大訓練可能深さを予測し、MNIST および CIFAR10 における実験で検証する。
• ドロップアウトの影響を重み分散の再スケーリングとしてモデル化し、それが臨界定性的を破壊し ξ_c を有限に保つことにより、訓練可能深さが制限されることを示す。
• 理論を実証的に検証するため、さまざまな深さとハイパーパrameterを用いて深層全結合ネットワークを訓練し、理論的予測と照合する

実験結果

リサーチクエスチョン

• RQ1 訓練されていない、ランダムに初期化された深層ニューラルネットワークにおける信号伝播を支配する深さスケールは何か？
• RQ2 臨界定性的深さスケール ξ_c は、深層ネットワークの訓練可能性とどのように関係しているか？
• RQ3 ネットワークが秩序からカオスへの遷移点付近に初期化された場合、信号および勾配伝播にはどのような影響が生じるか？
• RQ4 ドロップアウトは、臨界定性的深さスケール ξ_c の存在と値にどのように影響を与えるか？
• RQ5 深さスケール ξ_c は、異なるデータセットやアーキテクチャにおいて最大訓練可能深さを予測できるか？

主な発見

• 秩序からカオスへの遷移点において深さスケール ξ_c が発散し、この領域では信号相関が無限に遠くまでネットワークを伝播できることを示唆する。
• ニューラルネットワークが訓練可能であるのは、その深さが ξ_c より著しく大きくない場合に限られ、これにより ξ_c が訓練可能深さの普遍的上限として機能することが確立される。
• 順方向伝播における秩序的およびカオス的領域は、逆誤差伝搬における勾配の消失および爆発領域に対応する。
• わずかなドロップアウトでさえも秩序からカオスへの臨界定性的を破壊し、ξ_c が有限に保たれ、最大訓練可能深さが約 L=100 に制限されることを示す。
• ξ_c を用いた訓練可能深さの理論的予測は、MNIST および CIFAR10 におけるさまざまなハイパーパrameterを用いた実証的訓練結果と強く一致する。
• このフレームワークはデータセットや最適化手法に依存しないため、ξ_c が訓練可能深さの普遍的かつアーキテクチャ依存の上限である可能性を示唆する。