[论文解读] Learning Two Layer Rectified Neural Networks in Polynomial Time

Ainesh Bakshi, Rajesh Jayaram+1 more|arXiv (Cornell University)|Nov 5, 2018

Machine Learning and Algorithms参考文献 53被引用 12

一句话总结

本文提出了在高斯输入假设下，对两层ReLU神经网络中权重矩阵进行精确恢复的首个多项式时间算法。在无噪声情况下实现精确恢复，在存在均值为零的次高斯噪声的有噪声情况下实现近似恢复，利用低秩矩阵恢复和ReLU激活函数的组合性质。

ABSTRACT

Consider the following fundamental learning problem: given input examples $x \in \mathbb{R}^d$ and their vector-valued labels, as defined by an underlying generative neural network, recover the weight matrices of this network. We consider two-layer networks, mapping $\mathbb{R}^d$ to $\mathbb{R}^m$, with $k$ non-linear activation units $f(\cdot)$, where $f(x) = \max \{x , 0\}$ is the ReLU. Such a network is specified by two weight matrices, $\mathbf{U}^* \in \mathbb{R}^{m imes k}, \mathbf{V}^* \in \mathbb{R}^{k imes d}$, such that the label of an example $x \in \mathbb{R}^{d}$ is given by $\mathbf{U}^* f(\mathbf{V}^* x)$, where $f(\cdot)$ is applied coordinate-wise. Given $n$ samples as a matrix $\mathbf{X} \in \mathbb{R}^{d imes n}$ and the (possibly noisy) labels $\mathbf{U}^* f(\mathbf{V}^* \mathbf{X}) + \mathbf{E}$ of the network on these samples, where $\mathbf{E}$ is a noise matrix, our goal is to recover the weight matrices $\mathbf{U}^*$ and $\mathbf{V}^*$. In this work, we develop algorithms and hardness results under varying assumptions on the input and noise. Although the problem is NP-hard even for $k=2$, by assuming Gaussian marginals over the input $\mathbf{X}$ we are able to develop polynomial time algorithms for the approximate recovery of $\mathbf{U}^*$ and $\mathbf{V}^*$. Perhaps surprisingly, in the noiseless case our algorithms recover $\mathbf{U}^*,\mathbf{V}^*$ exactly, i.e., with no error. To the best of the our knowledge, this is the first algorithm to accomplish exact recovery. For the noisy case, we give the first polynomial time algorithm that approximately recovers the weights in the presence of mean-zero noise $\mathbf{E}$. Our algorithms generalize to a larger class of rectified activation functions, $f(x) = 0$ when $x\leq 0$, and $f(x) > 0$ otherwise.

研究动机与目标

• 解决从输入-标签对中学习两层ReLU神经网络权重矩阵这一基本问题。
• 在标签受噪声污染的情况下，开发多项式时间算法以实现权重矩阵的近似与精确恢复。
• 将恢复保证扩展至ReLU以外的更广泛类别的修正激活函数。
• 当权重矩阵U*不具有满列秩时，提供固定参数可追踪的算法。
• 建立在多项式时间内实现精确恢复的理论条件。

提出的方法

• 通过核范数最小化实现低秩矩阵恢复，从噪声观测A中恢复隐层表示U*f(V*X)。
• 利用高尔夫方案（golfing scheme）和对偶证书构造，证明低秩恢复凸松弛解的唯一性与正确性。
• 应用ReLU激活函数的组合与几何性质，实现在无噪声情况下的精确恢复。
• 对V*和U*施加非一致性与条件数约束，以确保在多项式样本复杂度下实现稳定恢复。
• 采用基于稀疏性的噪声模型，其中E为s-稀疏且s ≤ γnm（γ > 0为常数），从而在一般噪声下实现恢复。
• 将问题转化为可多项式时间求解的凸优化问题，采用核范数与l1-范数正则化。

实验结果

研究问题

• RQ1 在高斯输入假设下，能否在多项式时间内恢复两层ReLU网络的权重矩阵？
• RQ2 当标签无噪声且输入为i.i.d.高斯分布时，能否实现U*和V*的精确恢复？
• RQ3 当标签受均值为零的次高斯噪声污染时，能否实现多项式时间的近似恢复？
• RQ4 为确保多项式时间恢复，对U*和V*需要施加何种结构假设？
• RQ5 该恢复框架能否扩展至ReLU以外的更一般修正激活函数？

主要发现

• 本文提出了首个在高斯输入假设下、无噪声情况下实现U*和V*精确恢复的多项式时间算法。
• 对于具有均值为零的次高斯噪声的输入，该算法在多项式时间内实现近似恢复，且恢复误差受噪声水平有界。
• 当U*具有正交列、μ-非一致性，且k ≤ m / (O((κ(V*))²√(k log n)μ + μ + (κ(V*))⁴ log n) log² n)时，可实现精确恢复。
• 样本复杂度n在d、m、k及V*的条件数上为多项式，确保在实际场景中的可行性。
• 通过凸松弛方法，利用核范数与l1-范数最小化，精确恢复了因子分解形式U*f(V*X)。
• 针对U*不具有满列秩的情况，提供了以k为参数的固定参数可追踪算法。