[论文解读] Learning One-hidden-layer Neural Networks with Landscape Design

Rong Ge, Jason D. Lee+1 more|arXiv (Cornell University)|Nov 1, 2017

Stochastic Gradient Optimization Techniques参考文献 26被引用 113

一句话总结

论文设计了一个具有有利景观的非凸目标，以从高斯输入学习一个带有一个隐藏层的网络，使 SGD 收敛到真实参数而不需要过度参数化。

ABSTRACT

We consider the problem of learning a one-hidden-layer neural network: we assume the input $x\in \mathbb{R}^d$ is from Gaussian distribution and the label $y = a^ op σ(Bx) + ξ$, where $a$ is a nonnegative vector in $\mathbb{R}^m$ with $m\le d$, $B\in \mathbb{R}^{m imes d}$ is a full-rank weight matrix, and $ξ$ is a noise vector. We first give an analytic formula for the population risk of the standard squared loss and demonstrate that it implicitly attempts to decompose a sequence of low-rank tensors simultaneously. Inspired by the formula, we design a non-convex objective function $G(\cdot)$ whose landscape is guaranteed to have the following properties: 1. All local minima of $G$ are also global minima. 2. All global minima of $G$ correspond to the ground truth parameters. 3. The value and gradient of $G$ can be estimated using samples. With these properties, stochastic gradient descent on $G$ provably converges to the global minimum and learn the ground-truth parameters. We also prove finite sample complexity result and validate the results by simulations.

研究动机与目标

• 理解具有高斯输入和 ReLU-like 激活的单隐藏层网络的总体风险。
• 设计一个具有良好优化景观的目标，使所有局部极小值都是全局极小值且对应于真实参数。
• 证明在所设计的目标上，SGD 在有限样本下收敛到真实参数。

提出的方法

• 推导标准平方损失的总体风险的解析公式，并展示其与同时低秩张量分解（通过 Hermite 系数）的联系。
• 提出一个新的非凸目标 G(B)，在某些条件下保持真实解且没有虚假的局部极小值。
• 在正交的 B* 情况下，定义带正则化的 G(B)，以强制行范数为单位并促进与真实分量的对齐。
• 证明 G 的景观性质：每个局部极小值都对应于 ground-truth B* 的置换/符号翻转，且所有鞍点具有负曲率。
• 证明在 G 上的 SGD 收敛到近似全局最小值，并给出有限样本情形的推论（经验 G）。
• 概述在恢复出 B* 后，后续步骤如何估计 a*，然后再恢复完整参数。

实验结果

研究问题

• RQ1 是否可以构造一个非凸目标，使得在高斯输入下的一隐藏层网络中，所有局部极小值都是全局极小值且对应于真实参数？
• RQ2 总体风险与张量分解之间的关系是什么，以及如何据此指导景观设计？
• RQ3 在何种条件下（例如正交的 B*、正的 a*、正则化强度）SGD 能在有限样本下收敛到真实参数？
• RQ4 如何在不进行过度参数化的情况下，从设计的目标估计真实参数？
• RQ5 设计目标的经验版本在多项式数量样本下是否仍保留景观保证？

主要发现

• 一个解析表达式将总体风险与 Hermite 系数的求和以及张量分解的 Frobenius 范数差联系起来，将学习与低秩张量分解联系起来。
• 构造了一个新的目标 G(B)，其局部最小值恰好是 ground-truth B* 的置换/符号翻转，且在合适的参数选择下，鞍点具有负曲率。
• 在 G(B) 上的 SGD 收敛到全局最小值（经置换/符号）并在维度和精度上有多项式时间保证。
• 当 B* 正交且使用合适的正则化时，可以在经过置换/符号后恢复 B*，然后通过线性回归恢复 a*，随后进行标准参数恢复步骤。
• 有限样本结果表明，经验版的 G 在多项式数量的样本下仍保持景观性质，便于实际学习。