[论文解读] Guaranteed Recovery of One-Hidden-Layer Neural Networks via Cross Entropy

Haoyu Fu, Yuejie Chi+1 more|arXiv (Cornell University)|Feb 18, 2018

Stochastic Gradient Optimization Techniques参考文献 39被引用 5

一句话总结

该论文通过梯度下降法训练单隐层神经网络时，建立了全局收敛性，证明了在高斯输入下，经验风险在真实权重的局部邻域内具有强凸性和光滑性。当样本数量充足时，梯度下降线性收敛至接近真实值的解，且基于张量的方法可实现对该邻域内的初始化，从而确保无需每轮迭代重新采样即可保证恢复。

ABSTRACT

We study model recovery for data classification, where the training labels are generated from a one-hidden-layer neural network with sigmoid activations, also known as a single-layer feedforward network, and the goal is to recover the weights of the neural network. We consider two network models, the fully-connected network (FCN) and the non-overlapping convolutional neural network (CNN). We prove that with Gaussian inputs, the empirical risk based on cross entropy exhibits strong convexity and smoothness {\em uniformly} in a local neighborhood of the ground truth, as soon as the sample complexity is sufficiently large. This implies that if initialized in this neighborhood, gradient descent converges linearly to a critical point that is provably close to the ground truth. Furthermore, we show such an initialization can be obtained via the tensor method. This establishes the global convergence guarantee for empirical risk minimization using cross entropy via gradient descent for learning one-hidden-layer neural networks, at the near-optimal sample and computational complexity with respect to the network input dimension without unrealistic assumptions such as requiring a fresh set of samples at each iteration.

研究动机与目标

• 为解决使用交叉熵损失训练单隐层神经网络时缺乏模型恢复的理论保证问题。
• 在高斯输入分布下，建立经验风险函数在真实权重邻域内的强凸性和光滑性。
• 证明当初始化位于局部邻域内时，梯度下降能线性收敛至接近真实权重的解。
• 提出一种基于张量的方法，实现在无需每轮迭代重新采样的情况下，获得该有利初始化。
• 在分类任务中实现接近最优的样本复杂度和计算复杂度。

提出的方法

• 证明在样本数量充足时，高斯输入下交叉熵损失函数在真实权重的局部邻域内具有强凸性和光滑性。
• 使用伯恩斯坦不等式，同时对所有神经元的高阶矩（如 $\bm{P}_2$, $\bm{R}_3$）进行估计误差的界约束，而非逐个神经元处理。
• 提出一种基于张量的初始化方法，利用三阶矩估计每个神经元权重向量的方向和大小。
• 定义一个涉及激活函数三阶矩的量 $Q_1$，以提取关于 $\|\bm{w}_i^\star\|$ 的信息。
• 通过在估计的 $Q_1$ 上求解最小二乘问题，并利用矩函数 $m_{3,i}(\cdot)$ 的逆，估计 $\|\bm{w}_i^\star\|$。
• 利用估计系数的符号一致性，恢复权重大小的符号，从而实现精确初始化。

实验结果

研究问题

• RQ1 单隐层神经网络的交叉熵损失函数在真实权重的局部邻域内是否表现出强凸性和光滑性？
• RQ2 当初始化位于该邻域内时，梯度下降是否线性收敛至接近真实权重的解？
• RQ3 基于张量的方法是否能在不依赖每轮迭代重新采样的情况下，可靠地实现强凸性区域内的初始化？
• RQ4 在输入维度方面，保证恢复的样本复杂度是否接近最优？
• RQ5 该分析是否可在相同假设下推广至全连接网络和非重叠卷积网络？

主要发现

• 当样本数量足够大时，基于交叉熵损失的经验风险在真实权重的局部邻域内具有强凸性和光滑性。
• 当初始化位于该邻域内时，梯度下降线性收敛至距离真实权重 $O(1/\sqrt{K})$ 以内的点。
• 所需样本复杂度为 $n \geq d \cdot \text{poly}(K, \kappa, t, \log d)$，在输入维度 $d$ 方面实现了近似最优性。
• 基于张量的方法可实现强凸性区域内的初始化，避免了每轮迭代重新采样。
• 该分析在高斯输入下对全连接网络和非重叠卷积网络均成立。
• 该方法不要求激活函数为同质函数，仅依赖于假设2中的弱化条件。