[论文解读] Learning Two-layer Neural Networks with Symmetric Inputs

Rong Ge, Rohith Kuditipudi+2 more|arXiv (Cornell University)|Oct 16, 2018

Tensor decomposition and applications被引用 7

一句话总结

本文提出了一种新型的矩方法算法，可证明地学习具有对称输入的两层 ReLU 神经网络的参数，利用谱技术避免非凸优化。在温和的非退化条件下保证精确恢复，并在复杂、结构化的输入分布下实现多项式样本复杂度的鲁棒学习。

ABSTRACT

We give a new algorithm for learning a two-layer neural network under a general class of input distributions. Assuming there is a ground-truth two-layer network $$ y = A σ(Wx) + ξ, $$ where $A,W$ are weight matrices, $ξ$ represents noise, and the number of neurons in the hidden layer is no larger than the input or output, our algorithm is guaranteed to recover the parameters $A,W$ of the ground-truth network. The only requirement on the input $x$ is that it is symmetric, which still allows highly complicated and structured input. Our algorithm is based on the method-of-moments framework and extends several results in tensor decompositions. We use spectral algorithms to avoid the complicated non-convex optimization in learning neural networks. Experiments show that our algorithm can robustly learn the ground-truth neural network with a small number of samples for many symmetric input distributions.

研究动机与目标

• 解决在一般输入分布下学习两层神经网络的理论挑战，其中标准优化方法因非凸性而失效。
• 克服先前研究依赖强假设（如高斯输入或特定数据结构）的局限性。
• 在输入对称的条件下，开发一种可证明高效的参数恢复算法，该条件仍允许复杂的真实世界数据分布。
• 在保持多项式运行时间和样本复杂度的同时，确保对噪声和有限样本估计误差的鲁棒性。
• 将张量分解技术扩展至神经网络设置，实现在对称性条件下的网络权重精确恢复。

提出的方法

• 使用矩方法框架估计输入 $x$ 与输出 $y$ 之间的低阶相关性（最高至四阶）。
• 利用输入分布 $\mathcal{D}$ 的对称性，构建编码 $W$ 和 $A$ 结构信息的高阶矩张量。
• 应用谱分解与张量分解技术，从未观测到的矩中提取权重矩阵 $W$ 和 $A$。
• 通过同时对角化矩张量，利用鲁棒特征分解恢复隐层权重 $W$ 与输出权重 $A$。
• 引入扰动界与反浓度不等式，确保在采样噪声与估计误差下的稳定性。
• 通过正交变换对齐恢复的子空间，以处理特征向量恢复中的旋转模糊性。

实验结果

研究问题

• RQ1 我们能否在一类广义输入分布下，以可证明的保证学习两层 ReLU 神经网络？
• RQ2 输入分布的对称性是否能实现高效、非迭代的网络参数恢复，而无需强分布假设？
• RQ3 基于高阶矩的谱方法是否能在存在噪声的情况下实现 $W$ 和 $A$ 的精确恢复？
• RQ4 在对称输入下，稳健估计真实网络所需的样本复杂度是多少？
• RQ5 张量分解技术如何适应神经网络设置，以避免非凸优化？

主要发现

• 当输入分布对称且非退化时，该算法仅使用四阶矩信息即可实现对真实网络参数 $A$ 和 $W$ 的精确恢复。
• 在多项式样本数量下，该算法输出一个网络 $\hat{A}, \hat{W}$，使得对任意 $x$，有 $\|\hat{A}\sigma(\hat{W}x) - A\sigma(Wx)\|^{2} \leq \epsilon$，其中 $\epsilon$ 可任意小。
• 该方法运行时间为 $\mbox{poly}(d)$，对噪声和采样误差具有鲁棒性，且仅需 $\mbox{poly}(d, 1/\epsilon)$ 个样本。
• 理论保证依赖于随机矩阵的反浓度与扰动界，确保在噪声下特征分解的稳定性。
• 该算法可推广至高斯输入之外，只要保持对称性，即可适用于高度结构化、复杂的分布。
• 实验结果证实，该算法在各种对称输入分布（包括数据增强后的图像类数据）下，即使样本量较小，也表现出稳健性能。