[论文解读] Hardness of Learning Neural Networks with Natural Weights

Amit Daniely, Gal Vardi|arXiv (Cornell University)|Jun 5, 2020

Stochastic Gradient Optimization Techniques参考文献 35被引用 8

一句话总结

该论文证明，在RSAT假设下，即使权重表现良好且为随机分布，从自然分布（如球面上的正态分布或均匀分布）中抽取权重的深度为2的神经网络在理论上也难以学习。结果表明，不存在任何通用的、高概率成立的权重性质可实现高效学习，从而解决了神经网络在实践中成功与最坏情况下的理论困难性之间的关键理论鸿沟。

ABSTRACT

Neural networks are nowadays highly successful despite strong hardness results. The existing hardness results focus on the network architecture, and assume that the network's weights are arbitrary. A natural approach to settle the discrepancy is to assume that the network's weights are "well-behaved" and posses some generic properties that may allow efficient learning. This approach is supported by the intuition that the weights in real-world networks are not arbitrary, but exhibit some "random-like" properties with respect to some "natural" distributions. We prove negative results in this regard, and show that for depth-$2$ networks, and many "natural" weights distributions such as the normal and the uniform distribution, most networks are hard to learn. Namely, there is no efficient learning algorithm that is provably successful for most weights, and every input distribution. It implies that there is no generic property that holds with high probability in such random networks and allows efficient learning.

研究动机与目标

• 解决神经网络在实践中取得成功与学习它们的强理论困难性之间的矛盾。
• 研究自然权重分布（例如正态分布、球面上的均匀分布）是否通过提供通用的、高概率成立的性质，使得此类网络能够实现高效学习。
• 建立即使在自然权重分布下，对于任意输入分布，大多数网络仍然难以学习的结论。
• 将困难性结果扩展至具有随机滤波器和单位输出权重的卷积网络。

提出的方法

• 将学习问题简化为反驳随机K-SAT公式的困难性（即RSAT假设）。
• 使用随机正交变换对输入样本进行映射，同时保持可实现性和散射特性。
• 构建权重向量的概率分布（例如球面上的均匀分布、多元正态分布），以模拟自然权重。
• 通过矩阵变换实现降维，以控制输入范数并保持可实现性。
• 将符号卷积神经网络的可实现性问题约化为SCAT问题，证明在自然权重分布下具有RSAT困难性。
• 分析变换后输入的范数界，以确保其符合目标分布所需的半径范围。

实验结果

研究问题

• RQ1 从自然分布（如正态分布、球面上的均匀分布）中抽取权重的深度2神经网络是否可以被高效学习？
• RQ2 是否存在任何权重的通用性质——在高概率下成立——可使此类网络实现高效学习？
• RQ3 当第一层为具有随机滤波器和单位输出权重的卷积层时，困难性是否依然存在？
• RQ4 困难性结果是否在不同输入分布下依然成立？
• RQ5 RSAT假设能否用于证明在自然权重分布下学习的困难性？

主要发现

• 对于权重来自多元正态分布、球面上均匀分布，或独立同分布的正态/均匀/Bernoulli分量的深度2网络，其学习在权重上以高概率为困难。
• 该困难性对所有输入分布均成立，意味着不存在普遍的、高概率成立的自然权重性质可实现高效学习。
• 约化结果表明，在假设反驳随机K-SAT困难的前提下，学习此类网络具有RSAT困难性。
• 该结果可扩展至具有非重叠补丁和随机滤波器的卷积网络，学习在相同假设下依然困难。
• 在正交变换下，变换后的输入保持有界范数，确保约化过程保持了所需的几何约束。
• 分析结果确认，即使权重表现良好且为随机分布，也不存在可普遍成功的高效学习算法。