[論文レビュー] An Analytical Formula of Population Gradient for two-layered ReLU network and its Applications in Convergence and Critical Point Analysis

Yuandong Tian|arXiv (Cornell University)|Mar 1, 2017

Opportunistic and Delay-Tolerant Networks被引用数 65

ひとこと要約

この論文は、ガウス入力下の2層 ReLU ネットワークに対する閉形式の母集団勾配を導出し、それを用いて臨界点と勾配降下の収束性を分析する。対称性の自発的破れ現象を含む。

ABSTRACT

In this paper, we explore theoretical properties of training a two-layered ReLU network $g(\\mathbf{x}; \\mathbf{w}) = \\sum_{j=1}^K \\sigma(\\mathbf{w}_j^T\\mathbf{x})$ with centered $d$-dimensional spherical Gaussian input $\\mathbf{x}$ ($\\sigma$=ReLU). We train our network with gradient descent on $\\mathbf{w}$ to mimic the output of a teacher network with the same architecture and fixed parameters $\\mathbf{w}^*$. We show that its population gradient has an analytical formula, leading to interesting theoretical analysis of critical points and convergence behaviors. First, we prove that critical points outside the hyperplane spanned by the teacher parameters ("out-of-plane") are not isolated and form manifolds, and characterize in-plane critical-point-free regions for two ReLU case. On the other hand, convergence to $\\mathbf{w}^*$ for one ReLU node is guaranteed with at least $(1-\\epsilon)/2$ probability, if weights are initialized randomly with standard deviation upper-bounded by $O(\\epsilon/\\sqrt{d})$, consistent with empirical practice. For network with many ReLU nodes, we prove that an infinitesimal perturbation of weight initialization results in convergence towards $\\mathbf{w}^*$ (or its permutation), a phenomenon known as spontaneous symmetric-breaking (SSB) in physics. We assume no independence of ReLU activations. Simulation verifies our findings.

研究の動機と目的

• 勾配降下がなぜ非凸な訓練を解決できるのか、2層 ReLU 設定における理解を動機付ける。
• ガウス入力下での母集団勾配の解析解を導出する。
• 平面内および平面外の臨界点を含む臨界点の特徴を定義し、臨界点のない領域を特定する。
• 勾配降下の収束挙動と初期化の影響を分析する。
• 複数の ReLU ノードへの拡張と対称性破れ現象の含意を議論する。

提案手法

• K 個の ReLU ノードを持つ2層 ReLU ネットワーク g(x; w) と教師パラメータ w* を定義する。
• 平均ゼロ球対称ガウス入力とバイアスゼロ仮定の下で母集団勾配を導出する。
• 勾配を Population Gating (PG) 関数 F(e, w) により表現し、E[F(e, w)] の閉形式の期待値を得る。
• 閉形式を用いて勾配を線形成分と非線形成分に分解する（E[∇J] = (N/2)(w - w*) + (N/(2π))(θ w* - (||w*||/||w||) sin θ w)。
• 臨界点の正規方程式を分析し、平面外と平面内を区別し、角度に基づく行列 M, M*, および L_jj′ を用いて分離可能条件を導出する。
• K > 1 の ReLU シナリオへ拡張し、対称性の性質と自発的対称性破れ（SSB）について議論する。
• 単一 ReLU の収束性を前提とした解析（リャプノフ/ラサル）と、初期化戦略が高確率で収束をもたらすことを示す。

実験結果

リサーチクエスチョン

• RQ1 ガウス入力を持つ2層 ReLU ネットワークの母集団勾配の解析的形式は何か？
• RQ2 平面内と平面外の配置に対する臨界点の構造と性質はどうなるか？
• RQ3 初期化条件と設定の下で勾配降下は教師パラメータへ収束するのか？
• RQ4 複数の ReLU ノード間の対称性が勾配ダイナミクスにどのような影響を与え、自発的対称性破れをもたらすのか？
• RQ5 2層以上や ReLU ノード数を増やすときの枠組み拡張とその含意は何か？

主な発見

• 母集団勾配の閉形式表現を導出し、学習の線形成分と非線形成分の両方を分析できるようにした。
• 平面外の臨界点は多様体を形成し、d ≥ K+2 の場合には非分離である一方、K = 2 の場合には平面内に臨界点のない領域が存在する。
• 小さなランダム初期化で w* の周りの領域に入れば高確率で単一 ReLU による収束が保証され、一般的な初期化慣行と一致する。
• 複数の ReLU ノードが直交教師集合を持つ場合、対称的初期化は鞍点を生みやすいが、微少な摂動により収束が w* または置換へと導かれ、自発的対称性破れ（SSB）を示す。
• 臨界点条件の separable 構造と、K = 2 の場合における L_jj′ 関数の挙動を支持する予測とシミュレーションが、解析式の経験的検証と一致する。