[论文解读] Beating the Perils of Non-Convexity: Guaranteed Training of Neural Networks using Tensor Methods

Majid Janzamin, Hanie Sedghi+1 more|arXiv (Cornell University)|Jun 28, 2015

Tensor decomposition and applications参考文献 49被引用 146

一句话总结

该论文提出NN-LIFT，一种基于张量的方法，通过张量分解克服非凸性，实现两层神经网络的保证训练。该方法在温和的非退化条件下实现全局收敛和多项式样本复杂度，并提供可证明的风险界，优于基于梯度的方法在避免局部最优解方面表现，同时保持与SGD相当的计算效率。

ABSTRACT

Training neural networks is a challenging non-convex optimization problem, and backpropagation or gradient descent can get stuck in spurious local optima. We propose a novel algorithm based on tensor decomposition for guaranteed training of two-layer neural networks. We provide risk bounds for our proposed method, with a polynomial sample complexity in the relevant parameters, such as input dimension and number of neurons. While learning arbitrary target functions is NP-hard, we provide transparent conditions on the function and the input for learnability. Our training method is based on tensor decomposition, which provably converges to the global optimum, under a set of mild non-degeneracy conditions. It consists of simple embarrassingly parallel linear and multi-linear operations, and is competitive with standard stochastic gradient descent (SGD), in terms of computational complexity. Thus, we propose a computationally efficient method with guaranteed risk bounds for training neural networks with one hidden layer.

研究动机与目标

• 解决训练神经网络中非凸优化的根本挑战，其中基于梯度的方法常因虚假局部最优解而失败。
• 为具有通用输入和激活函数的两层神经网络开发一种计算高效的训练算法，并提供可证明的风险界。
• 建立关于目标函数和输入分布的透明、可验证条件，以确保可学习性，从而克服最坏情况下的NP难问题。
• 将张量分解与矩方法相结合，通过低秩张量逼近实现全局优化。

提出的方法

• 该方法使用高阶矩张量（特别是输入与输出之间的三阶交叉矩）来提取网络参数的信息。
• 它应用CANDECOMP/PARAFAC（CP）张量分解来估计矩张量的潜在低秩结构，从而从分解中恢复网络权重。
• 该算法利用激活函数的傅里叶变换来构建捕捉数据相关统计结构的特征张量。
• 它在分解后的分量上应用岭回归来估计输出层权重，确保在近似和采样噪声下的稳定性。
• 该方法具有明显的并行性，仅依赖于线性代数和多线性运算，因此具有可扩展性和高效性。
• 一个关键组件是使用得分函数和埃尔米特多项式展开，在高斯输入下对三阶矩张量进行建模。

实验结果

研究问题

• RQ1 我们能否设计一种两层神经网络的训练算法，可证明地避免局部最优解并收敛到全局解？
• RQ2 目标函数和输入分布需要满足何种条件，才能确保网络以多项式样本复杂度实现可学习性？
• RQ3 如何将张量分解适配于处理神经网络中的非线性激活函数？
• RQ4 所提方法的风险界是什么？其随输入维度、神经元数量和样本大小的缩放关系如何？
• RQ5 能否在保持理论保证的同时使该方法具有计算高效性？

主要发现

• 当样本量满足 $ n \geq \tilde{O}(\zeta_f / (\psi \tilde{\epsilon}_2^2)) $ 时，所提出的NN-LIFT算法以高概率实现风险界 $ O(\tilde{\theta}_2) $，其中 $ \zeta_f = \int_{\mathbb{R}^d} f(x)^2 dx $。
• 在相同的样本复杂度条件下，估计误差满足 $ |e_{\text{est.}}| \leq O(\tilde{\epsilon}_2) $。
• 近似误差满足 $ |e_{\text{apx.}}| \leq \frac{1}{\psi} O(rC_f) \cdot \left( \frac{1}{\sqrt{k}} + \delta_1 \right) $，且可通过设定 $ C_f \leq \frac{1}{r} \left( \frac{1}{\sqrt{k}} + \delta_1 \right)^{-1} \cdot O(\psi \tilde{\epsilon}_2) $ 来控制。
• 对于高斯输入和阶跃函数激活，当 $ k = Cd $ 且 $ C < 1 $ 较小时，特征矩阵 $ A_1 $ 的奇异值比满足 $ \frac{s_{\min}(A_1)}{s_{\max}(A_1)} \geq O(1) $，从而确保分解的稳定性。
• 在温和的非退化条件下，该方法在输入维度 $ d $、神经元数量 $ k $ 和网络宽度上均实现多项式样本复杂度的有界风险。
• 该算法计算高效，其复杂度与SGD相当，同时通过张量分解保证全局收敛。