[论文解读] On the Connection Between Learning Two-Layers Neural Networks and Tensor Decomposition

Marco Mondelli, Andrea Montanari|arXiv (Cornell University)|Feb 20, 2018

Tensor decomposition and applications参考文献 36被引用 23

一句话总结

本文通过将问题归约为张量分解，建立了学习具有多项式激活函数的两层 ReLU 类神经网络的计算困难性结果。在复杂性理论假设下——即不存在多项式时间算法能超越平方和（sum-of-squares）方法求解三阶张量分解——作者证明：当隐藏单元数 $ r $ 满足 $ d^{3/2} \ll r \ll d^2 $ 时，若数据为标准高斯分布且权重为随机各向同性分布，则任何高效学习算法的泛化性能均无法优于平凡预测器（即响应均值）。

ABSTRACT

We establish connections between the problem of learning a two-layer neural network and tensor decomposition. We consider a model with feature vectors $\boldsymbol x \in \mathbb R^d$, $r$ hidden units with weights $\{\boldsymbol w_i\}_{1\le i \le r}$ and output $y\in \mathbb R$, i.e., $y=\sum_{i=1}^r σ( \boldsymbol w_i^{\mathsf T}\boldsymbol x)$, with activation functions given by low-degree polynomials. In particular, if $σ(x) = a_0+a_1x+a_3x^3$, we prove that no polynomial-time learning algorithm can outperform the trivial predictor that assigns to each example the response variable $\mathbb E(y)$, when $d^{3/2}\ll r\ll d^2$. Our conclusion holds for a `natural data distribution', namely standard Gaussian feature vectors $\boldsymbol x$, and output distributed according to a two-layer neural network with random isotropic weights, and under a certain complexity-theoretic assumption on tensor decomposition. Roughly speaking, we assume that no polynomial-time algorithm can substantially outperform current methods for tensor decomposition based on the sum-of-squares hierarchy. We also prove generalizations of this statement for higher degree polynomial activations, and non-random weight vectors. Remarkably, several existing algorithms for learning two-layer networks with rigorous guarantees are based on tensor decomposition. Our results support the idea that this is indeed the core computational difficulty in learning such networks, under the stated generative model for the data. As a side result, we show that under this model learning the network requires accurate learning of its weights, a property that does not hold in a more general setting.

研究动机与目标

• 研究在自然数据分布下，具有多项式激活函数的两层神经网络的学习计算复杂度。
• 确定在隐藏单元数 $ r $ 介于 $ d^{3/2} $ 和 $ d^2 $ 之间的高维情形下，此类模型是否存在高效学习算法。
• 建立学习问题与张量分解之间的正式联系，表明后者是计算瓶颈。
• 提供证据表明，基于张量分解的现有算法不仅具有启发式性质，而且在复杂性理论假设下可能达到最优。
• 证明在该生成模型下，准确恢复权重是学习所必需的，这一性质在更一般设定中并不保证。

提出的方法

• 将学习两层神经网络的问题归约为分解一个由网络权重向量构造的对称三阶张量的问题。
• 采用一个生成模型，其中特征向量 $ \mathbf{x} \sim \mathcal{N}(0, I_d/d) $ 为独立同分布的标准高斯分布，输出为 $ y = \sum_{i=1}^r \sigma(\mathbf{w}_i^T \mathbf{x}) $，其中 $ \sigma $ 为低次多项式。
• 采用一个复杂性理论假设：不存在多项式时间算法能在三阶张量分解中实现优于平方和（SoS）层次的 $ \epsilon $-精度。
• 通过将网络输出表示为张量矩之和，构造其噪声版本，并利用霍尔德不等式和内积衰减性质对误差项进行有界处理。
• 利用 $ \delta $-相关权重（即两两内积较小）的性质，使得张量展开中的非对角项较小，从而实现可控逼近。
• 应用归约论证：若存在一个高效的神经网络学习算法，则可将其用于求解困难的张量分解问题，从而与假设矛盾。

实验结果

研究问题

• RQ1 在标准高斯数据和随机各向同性权重下，具有多项式激活函数的两层神经网络是否可在多项式时间内被学习？
• RQ2 张量分解是否为学习此类网络的根本计算障碍？
• RQ3 在何种模型复杂度范围（以 $ r $ 和 $ d $ 表示）下，学习变得计算上不可行？
• RQ4 在所述假设下，当 $ r \ll d^2 $ 且 $ r \gg d^{3/2} $ 时，平凡预测器（$ y $ 的均值）是否仍为最优？
• RQ5 能否在该生成模型下形式化证明准确权重恢复的必要性？

主要发现

• 在假设不存在多项式时间算法能超越平方和层次求解三阶张量分解的前提下，当 $ d^{3/2} \ll r \ll d^2 $ 时，任何高效学习算法的泛化性能均无法优于平凡预测器。
• 该困难性结果即使在拥有无限样本和精确期望的情况下依然成立，表明其本质是计算性的，而非统计性的。
• 两层网络学习与张量分解之间的联系并非偶然——现有具有保证性能的算法确实基于张量分解，表明这是核心计算挑战。
• 对于三度多项式激活函数，网络输出可表示为张量矩之和，主项对应于网络本身，误差项有界于 $ \delta^{k(p-1)} $，其中 $ \delta $ 控制权重相关性。
• 输出近似中的误差项有界于 $ (\delta^m r)^{p-1} \sum_k c_k \sum_i |\langle \mathbf{w}_i, \mathbf{x}_j \rangle|^{p(\ell - (p-1)k)} $，表明当 $ \delta $ 较小且 $ r $ 不过大时，该误差项可忽略。
• 本文证明，在该模型下，准确权重恢复是学习所必需的，而这一性质在更一般设定中并不成立，其中数据分布未受约束。