[论文解读] An Analytical Formula of Population Gradient for two-layered ReLU network and its Applications in Convergence and Critical Point Analysis

Yuandong Tian|arXiv (Cornell University)|Mar 2, 2017

Complex Network Analysis Techniques参考文献 16被引用 78

一句话总结

该论文在高斯输入下推导了双层 ReLU 网络的闭式总体梯度，并用它分析鞍点与收敛性，包括自发对称性破缺。它给出梯度下降收敛到教师权重的条件，并将非平面临界点表征为非孤立流形。

ABSTRACT

In this paper, we explore theoretical properties of training a two-layered ReLU network $g(\mathbf{x}; \mathbf{w}) = \sum_{j=1}^K σ(\mathbf{w}_j^T\mathbf{x})$ with centered $d$-dimensional spherical Gaussian input $\mathbf{x}$ ($σ$=ReLU). We train our network with gradient descent on $\mathbf{w}$ to mimic the output of a teacher network with the same architecture and fixed parameters $\mathbf{w}^*$. We show that its population gradient has an analytical formula, leading to interesting theoretical analysis of critical points and convergence behaviors. First, we prove that critical points outside the hyperplane spanned by the teacher parameters ("out-of-plane") are not isolated and form manifolds, and characterize in-plane critical-point-free regions for two ReLU case. On the other hand, convergence to $\mathbf{w}^*$ for one ReLU node is guaranteed with at least $(1-ε)/2$ probability, if weights are initialized randomly with standard deviation upper-bounded by $O(ε/\sqrt{d})$, consistent with empirical practice. For network with many ReLU nodes, we prove that an infinitesimal perturbation of weight initialization results in convergence towards $\mathbf{w}^*$ (or its permutation), a phenomenon known as spontaneous symmetric-breaking (SSB) in physics. We assume no independence of ReLU activations. Simulation verifies our findings.

研究动机与目标

• 为具有高斯输入的双层 ReLU 网络的总体梯度推导出闭式解析表达式。
• 表征临界点，区分平内与平面外情况，并识别无临界点的区域。
• 利用李雅普诺夫方法分析单个和多个 ReLU 节点下梯度下降向教师网络收敛的情形。
• 展示自发对称性破缺等现象及其对初始化与收敛的影响。
• 提供仿真验证以支持理论结果。

提出的方法

• 定义给定的双层 ReLU 模型 g(x; w) = sum_j ReLU(w_j^T x)，其中教师权重为 w*，输入 x 服从中心化球对称高斯分布。
• 推导高斯输入下 L2 损失的总体梯度 E[∇J(w)]，引入 Population Gating (PG) 函数 F(e, w)。
• 得到闭式表达式 E[F(e, w)] = (N/2π)[(π−θ)w + ||w|| sin θ e]，其中 θ 是 e 与 w 之间的夹角。
• 证明 E[∇J] = E[F(w/||w||, w)] − E[F(w/||w||, w*)] 并分析其对学习动力学的含义。
• 在 K-ReLU 设置下将临界点的法则方程写成 YE^T = B* W*^T，并研究平内与平面外情况。
• 应用 Lyapunov/LaSalle 方法确立单个 ReLU 的收敛性结果，并讨论多 ReLU 情况下的对称性破缺。
• 通过关于梯度结构的一个命题（式（Eq. 19）在概念上将该框架推广到多层 ReLU 网络。

实验结果

研究问题

• RQ1 具有高斯输入的双层 ReLU 网络的总体梯度的显式形式是什么？
• RQ2 临界点位于何处（平内 vs 平面外），它们是否可被孤立？
• RQ3 在单个与多个 ReLU 节点下，梯度下降在何种初始化条件下收敛到教师权重？
• RQ4 在多 ReLU 网络中对称性破缺如何表现及对收敛有什么影响？
• RQ5 分析框架能否推广到更复杂的（多层）结构？

主要发现

• 总体梯度具有一个闭式分解，可将线性样项与依赖于 w 与 w* 夹角的非线性项分解，从而实现对临界点的精确分析。
• 当 d ≥ K+2 时，平面外临界点因绕主平面的旋转对称性而形成流形，因此非孤立。
• 对于单个 ReLU 节点，从随机初始化且方差足够小的初始条件出发，梯度下降以高概率收敛到 w*，与标准初始化做法一致。
• 在正交教师权重的多 ReLU 情况下，对称初始化会导致鞍点，而微小扰动会使其收敛到 w* 或其置换（自发对称性破缺）。
• 仿真验证了解析公式并展示了收敛轨迹、鞍点以及初始化对收敛行为的影响。