[論文レビュー] Exponential expressivity in deep neural networks through transient chaos

Ben Poole, Subhaneil Lahiri+3 more|arXiv (Cornell University)|Jun 16, 2016

Model Reduction and Neural Networks参考文献 14被引用数 157

ひとこと要約

本論文は深いランダムネットワークにおける秩序からカオスへの位相転換を示し、カオス領域で深さに起因するダイナミクスが指数的な表現力と多様体の解離を生み出すことを、平均場/リーマン幾何学的枠組みで検証する。

ABSTRACT

We combine Riemannian geometry with the mean field theory of high dimensional chaos to study the nature of signal propagation in generic, deep neural networks with random weights. Our results reveal an order-to-chaos expressivity phase transition, with networks in the chaotic phase computing nonlinear functions whose global curvature grows exponentially with depth but not width. We prove this generic class of deep random functions cannot be efficiently computed by any shallow network, going beyond prior work restricted to the analysis of single functions. Moreover, we formalize and quantitatively demonstrate the long conjectured idea that deep networks can disentangle highly curved manifolds in input space into flat manifolds in hidden space. Our theoretical analysis of the expressive power of deep networks broadly applies to arbitrary nonlinearities, and provides a quantitative underpinning for previously abstract notions about the geometry of deep functions.

研究の動機と目的

• 深層ネットワークにおける表現力の概念を、特定の非線形性を超えて動機づけ、形式化する。
• 深さがランダムネットワークの信号伝搬と幾何に与える影響を分析する統一的枠組みを構築する。
• 秩序-to-カオス転換を定量的に特徴づけ、その曲率および多様体解離への影響を明示する。

提案手法

• リーマン幾何と動的平均場理論を組み合わせて、ランダムな深層ネットワークを研究する。
• 長さ写像 q^l = (1/N_l) ∑_i h_i^{l2} を導入し、反復写像 q^l = V(q^{l-1} | sigma_w, sigma_b) を導出する。
• 層ごとの相関写像 C を導出し、それが q^{l}_{12} を支配し、その不動点 c^* と勾配 chi_1 を導く。
• 層を通じた 1D 多様体の伝播を分析し、接円とガウス写像によって外在曲率 kappa を定義する。
• 外在曲率とユークリッド計量の進化方程式を得て、bar{g}^{E,l} と (bar{kappa}^l)^2 を chi_1, chi_2 とともに示し、カオス領域で曲率が指数的に増大することを示す。

実験結果

リサーチクエスチョン

• RQ1 深いランダムネットワークには、浅いネットワークでは得られない表現力の利点があるのか。
• RQ2 深さは信号伝搬の幾何、長さ、曲率にどのような影響を与えるのか。
• RQ3 層間の情報処理を支配する重み/バイアス統計の空間に秩序-to-カオス転換が存在するのか。
• RQ4 深さを通じて、高く曲がった入力多様体を隠れ層でより平坦な表現に解離できるのか。
• RQ5 深さとともに局所・全体の曲率指標はどう変化し、カオス相と秩序相でどう異なるのか。

主な発見

• sigma_w と sigma_b によって決まる秩序-to-カオスの表現力相転換が存在し、カオスダイナミクスは深さとともに全球曲率を指数的に増大させる。
• カオス相では多様体のユークリッド長さが深さとともに指数的に増大する一方で曲率は維持され、chi_2 によって蓄積され、隠れ空間での指数的な膨張を引き起こす。
• カオス領域の深層ネットワークは、極めて曲がった入力多様体を出力層でより平坦な表現に解離し、指数的に複雑な関数を可能にする。
• 浅いネットワークは指数的な表現力を達成できず、特定の単調非線形性に対して長さが幅に対して線形以上には増えないという上限が示される。
• 決定境界の主曲率は深さとともに指数的に増大する可能性があり、より複雑で深さにより強化された分類境界を意味する。