[论文解读] Learning Parities with Neural Networks

Amit Daniely, Eran Malach|arXiv (Cornell University)|Feb 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用 11

一句话总结

该论文表明，在特定数据分布下，通过梯度下降训练的两层神经网络能够高效学习稀疏奇偶性——这类非线性函数在理论上对线性模型是不可解的。其关键贡献在于实现了指数级分离：神经网络可达到低误差，而线性方法则需要指数级大的表示规模或承受指数级大的范数。

ABSTRACT

In recent years we see a rapidly growing line of research which shows learnability of various models via common neural network algorithms. Yet, besides a very few outliers, these results show learnability of models that can be learned using linear methods. Namely, such results show that learning neural-networks with gradient-descent is competitive with learning a linear classifier on top of a data-independent representation of the examples. This leaves much to be desired, as neural networks are far more successful than linear methods. Furthermore, on the more conceptual level, linear models don't seem to capture the "deepness" of deep networks. In this paper we make a step towards showing leanability of models that are inherently non-linear. We show that under certain distributions, sparse parities are learnable via gradient decent on depth-two network. On the other hand, under the same distributions, these parities cannot be learned efficiently by linear methods.

研究动机与目标

• 证明通过梯度下降训练的神经网络能够学习本质上非线性的函数（如稀疏奇偶性），而这些函数是线性方法无法处理的。
• 建立神经网络与线性模型（包括核方法和随机特征）在学习能力上的理论分离。
• 表明在某些输入数据分布下，神经网络可实现对奇偶性的高效学习，而在线性分类器的固定表示下此类学习则不可行。
• 挑战当前主流观点，即神经网络泛化能力可被随机特征或核近似还原为线性模型。
• 为理解深度学习的表征能力开辟新的理论路径，超越线性化与基于核的近似。

提出的方法

• 定义一类分布 𝒟_A，其定义在 {±1/√n}^n × {±1} 上，其中标签为输入中k比特子集的奇偶性。
• 使用带有可学习权重和偏置的两层ReLU网络，通过在合页损失上使用随机梯度下降进行训练。
• 在指定的数据分布下分析网络的泛化误差，证明其收敛至低误差。
• 证明任何在线性分类器在任意固定N维嵌入上，若不使N指数级增长或分类器范数指数级增大，则无法实现低误差。
• 以神经正切核（NTK）框架作为基线，与标准ReLU网络进行比较，以隔离非线性在其中的作用。
• 在修改后的MNIST数据集（MNIST-parity）上进行实验，其中输入为数字的条带，标签为这些数字之和的奇偶性，以实证验证理论结论。

实验结果

研究问题

• RQ1 通过梯度下降训练的神经网络能否学习到对线性模型而言在理论上难以处理的稀疏奇偶性？
• RQ2 是否存在一类分布，使得神经网络能实现低泛化误差，而线性模型则需要指数级大的表示规模？
• RQ3 ReLU网络的非线性是否在学习非线性目标函数方面为神经网络提供了根本性优势？
• RQ4 我们能否为特定学习任务建立神经网络与线性模型在样本量或表示复杂度上的指数级分离？
• RQ5 数据分布的结构在多大程度上促进或阻碍了神经网络对非线性函数的学习？

主要发现

• 在MNIST-parity任务中，k=3时，通过梯度下降训练的神经网络在测试集上达到接近80%的准确率，其中标签为三个数字之和的奇偶性。
• 相比之下，线性模型（包括高斯特征、ReLU特征和NTK框架网络）在相同k=3任务上的表现仅略高于随机猜测（50%）。
• 理论分析表明，任何在线性分类器在固定N维嵌入上，若不使N随k指数级增长，则无法在相同分布族上实现低误差。
• 等价地，若表示规模在k上为多项式增长，则任何线性分类器必须具有指数级大的范数，才能近似奇偶函数。
• 该指数级分离是在特定分布族下建立的：奇偶位随机设置为等概率，其余位固定或均匀分布。
• 结果表明，使用梯度下降训练的标准ReLU网络能够学习到线性模型即使在最优固定表示下也根本无法触及的非线性函数。