[論文レビュー] An Analytical Formula of Population Gradient for two-layered ReLU network and its Applications in Convergence and Critical Point Analysis

Yuandong Tian|arXiv (Cornell University)|Mar 2, 2017

Complex Network Analysis Techniques参考文献 16被引用数 78

ひとこと要約

本論文は、ガウス入力の下で二層 ReLU ネットワークの閉形式の集団勾配を導出し、それを用いて臨界点と収束性を分析する。自発的対称性の破れを含む。勾配降下法が教師ウェイトへ収束する条件を提供し、平面外の臨界点を非孤立な多様体として特徴づける。

ABSTRACT

In this paper, we explore theoretical properties of training a two-layered ReLU network $g(\mathbf{x}; \mathbf{w}) = \sum_{j=1}^K σ(\mathbf{w}_j^T\mathbf{x})$ with centered $d$-dimensional spherical Gaussian input $\mathbf{x}$ ($σ$=ReLU). We train our network with gradient descent on $\mathbf{w}$ to mimic the output of a teacher network with the same architecture and fixed parameters $\mathbf{w}^*$. We show that its population gradient has an analytical formula, leading to interesting theoretical analysis of critical points and convergence behaviors. First, we prove that critical points outside the hyperplane spanned by the teacher parameters ("out-of-plane") are not isolated and form manifolds, and characterize in-plane critical-point-free regions for two ReLU case. On the other hand, convergence to $\mathbf{w}^*$ for one ReLU node is guaranteed with at least $(1-ε)/2$ probability, if weights are initialized randomly with standard deviation upper-bounded by $O(ε/\sqrt{d})$, consistent with empirical practice. For network with many ReLU nodes, we prove that an infinitesimal perturbation of weight initialization results in convergence towards $\mathbf{w}^*$ (or its permutation), a phenomenon known as spontaneous symmetric-breaking (SSB) in physics. We assume no independence of ReLU activations. Simulation verifies our findings.

研究の動機と目的

• ガウス入力を用いた二層 ReLU ネットワークの集団勾配の解析的閉形式表現を開発する。
• 平面内外の臨界点を識別し、孤立性の有無を区別する。
• Lyapunov法を用いて単一および多 ReLU ノードでの教師ネットワークへの勾配降下の収束を分析する。
• 自発的対称性破れなどの現象と、その初期化および収束への影響を示す。
• 理論結果のシミュレーションによる検証を提供する。

提案手法

• 2層 ReLU モデル g(x; w) = sum_j ReLU(w_j^T x) を教師ウェイト w*、中心化球状ガウス入力 x として定義する。
• ガウス入力の場合の L2 損失の集団勾配 E[∇J(w)] を導出し、Population Gating (PG) 関数 F(e, w) を導入する。
• E[F(e, w)] = (N/2π)[(π−θ)w + ||w|| sin θ e] という閉形式表現を得る。ここで θ は e と w の間の角度。
• E[∇J] = E[F(w/||w||, w)] − E[F(w/||w||, w*)] を示し、学習ダイナミクスへの影響を解析する。
• K-ReLU 設定における臨界点の正規方程式を YE^T = B* W*^T とし、平面内外のケースを検討する。
• 単一 ReLU に対する収束結果をロサルフ/Lyapunov 法で確立し、多 ReLU 設定における対称性破れを論じる。
• フレームワークを概念的に多層 ReLU ネットワークへ拡張するための勾配構造に関する命題（式 (19)）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ガウス入力を用いた二層 ReLU ネットワークの集団勾配の明示的な形は何か。
• RQ2 臨界点はどこに存在するか（平面内 vs 平面外）で、孤立しているのか。
• RQ3 単一および複数の ReLU ノードで勾配降下はどの初期化条件下で教師ウェイトへ収束するのか。
• RQ4 対称性破れは多 ReLU ネットワークでどのように現れ、収束にどのような影響を与えるのか。
• RQ5 解析的枠組みはより複雑な（多層）アーキテクチャへ拡張可能か。

主な発見

• 集団勾配は、 w と w* の間の角度に依存する線形様の項と非線形項に閉形式で分解され、臨界点の解析を正確に可能にする。
• 平面外の臨界点は d ≥ K+2 の場合、主成分平面を軸とする回転対称性のため非孤立で多様体を形成する。
• 単一の ReLU ノードの場合、ランダム初期化からの小さな分散での収束が高確率で起こり、教師ウェイトへ収束することは標準的な初期化手法と一致する。
• 複数 ReLU の場合、正規直交の教師ウェイトを持つとき対称初期化は鞍点を生じさせるが、微小な摂動は w* へ収束する（または置換へ収束する）現象を誘発する（自発的対称性破れ）。
• シミュレーションは解析式を検証し、収束経路・鞍点・初期化が収束挙動に与える影響を示す。