[论文解读] An Approximation Algorithm for training One-Node ReLU Neural Network

Santanu S. Dey, Guanyi Wang+1 more|arXiv (Cornell University)|Oct 8, 2018

Image Processing and 3D Reconstruction参考文献 17被引用 6

一句话总结

本文提出了一种用于训练单神经元ReLU神经网络的近似算法，证明了该问题为NP难问题，并提供了一个O(n^k)时间复杂度的算法，可保证n/k-近似解。在可实现情形（训练误差为零）下，该算法可达到全局最优；在高斯噪声模型下，其渐近近似比与n无关，结合启发式优化后，其性能优于梯度下降法。

ABSTRACT

Training a one-node neural network with ReLU activation function (One-Node-ReLU) is a fundamental optimization problem in deep learning. In this paper, we begin with proving the NP-hardness of training One-Node-ReLU. We then present an approximation algorithm to solve One-Node-ReLU whose running time is $\mathcal{O}(n^k)$ where $n$ is the number of samples, $k$ is a predefined integral constant. Except $k$, this algorithm does not require pre-processing or tuning of parameters. We analyze the performance of this algorithm under various regimes. First, given any arbitrary set of training sample data set, we show that the algorithm guarantees a $\frac{n}{k}$-approximation for training One-Node-ReLU problem. As a consequence, in the realizable case (i.e. when the training error is zero), this approximation algorithm achieves the global optimal solution for the One-Node-ReLU problem. Second, we assume that the training sample data is obtained from an underlying one-node neural network with ReLU activation function, where the output is perturbed by a Gaussian noise. In this regime, we show that the same approximation algorithm guarantees a much better asymptotic approximation ratio which is independent of the number of samples $n$. Finally, we conduct extensive empirical studies and arrive at two conclusions. One, the approximation algorithm together with some heuristic performs better than gradient descent algorithm. Two, the solution of the approximation algorithm can be used as starting point for gradient descent -- a combination that works significantly better than gradient descent.

研究动机与目标

• 确定训练单神经元ReLU神经网络的计算复杂度。
• 设计一种无需参数调整的单神经元ReLU问题近似算法，并提供最坏情况性能的可证明保证。
• 分析该算法在任意数据和统计模型设定下的性能表现。
• 通过实验评估该算法的有效性，以及其作为梯度下降法初始化策略的实用性。

提出的方法

• 该算法的时间复杂度为O(n^k)，其中k为预定义的整数常数，无需预处理或超参数调优。
• 对于任意训练数据集，该算法可保证n/k-近似解。
• 在可实现情形（训练误差为零）下，该算法可达到全局最优解。
• 在输出受高斯噪声扰动的统计模型下，该算法的渐近近似比与样本数n无关。
• 该方法利用ReLU激活函数的结构特性以及损失函数景观的几何性质，高效识别出有前景的解。
• 实验验证结合了该算法与启发式方法，并将其输出作为梯度下降法的初始化。

实验结果

研究问题

• RQ1 单神经元ReLU训练问题是否为NP难问题？
• RQ2 能否为任意数据设计一个具有可证明性能保证的近似算法？
• RQ3 在真实函数可由模型表示的可实现情形下，该算法表现如何？
• RQ4 在具有高斯噪声的统计模型下，该算法是否能获得更优的近似比？
• RQ5 该算法的解能否作为梯度下降法的有效初始化？

主要发现

• 通过从子集和问题的归约，证明了单神经元ReLU问题为NP难问题。
• 所提出的算法可对任意数据集保证n/k-近似解，且随着k的增大，近似比进一步改善。
• 在可实现情形（训练误差为零）下，该算法可达到全局最优解。
• 在高斯噪声模型下，该算法的渐近近似比与样本数n无关，显著优于最坏情况下的理论边界。
• 实验结果表明，结合启发式方法后，该算法的性能优于标准梯度下降法。
• 使用该算法输出作为梯度下降法的初始化，其性能显著优于随机初始化。