[论文解读] Unreasonable Effectiveness of Learning Neural Nets: Accessible States and Robust Ensembles.

Carlo Baldassi, Christian Borgs+5 more|arXiv (Cornell University)|May 20, 2016

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

本文提出了鲁棒集成（RE），这是一种新颖的框架，通过基于副本的代价函数识别并聚焦于神经网络权重空间中的密集、易达区域——尤其在离散权重网络中。通过增强这些鲁棒区域，该方法在多种算法中实现了更快、更可靠的训练，显著提升了性能，且对权重精度的敏感性极低。

ABSTRACT

In artificial neural networks, learning from data is a computationally demanding task in which a large number of connection weights are iteratively tuned through stochastic-gradient-based heuristic processes over a cost-function. It is not well understood how learning occurs in these systems, in particular how they avoid getting trapped in configurations with poor computational performance. Here we study the difficult case of networks with discrete weights, where the optimization landscape is very rough even for simple architectures, and provide theoretical and numerical evidence of the existence of rare---but extremely dense and accessible---regions of configurations in the network weight space. We define a novel measure, which we call the \emph{robust ensemble} (RE), which suppresses trapping by isolated configurations and amplifies the role of these dense regions. We analytically compute the RE in some exactly solvable models, and also provide a general algorithmic scheme which is straightforward to implement: define a cost-function given by a sum of a finite number of replicas of the original cost-function, with a constraint centering the replicas around a driving assignment. To illustrate this, we derive several powerful new algorithms, ranging from Markov Chains to message passing to gradient descent processes, where the algorithms target the robust dense states, resulting in substantial improvements in performance. The weak dependence on the number of precision bits of the weights leads us to conjecture that very similar reasoning applies to more conventional neural networks. Analogous algorithmic schemes can also be applied to other optimization problems.

研究动机与目标

• 理解为何神经网络在训练过程中能避免陷入不良局部极小值，尤其是在具有崎岖优化景观的离散权重设置下。
• 识别权重空间中稀有但高度可访问且密集的区域，以实现高效学习。
• 开发一种可泛化的方法，以抑制陷入孤立、次优配置的情况。
• 设计一种实用的算法框架，以在多种优化范式中提升训练性能。
• 将精确可解模型中的洞见扩展至更广泛的神经网络架构及其他优化问题。

提出的方法

• 提出鲁棒集成（RE）作为新度量，以抑制孤立配置并强调权重空间中的密集、可访问区域。
• 将代价函数定义为原始代价函数的副本之和，并围绕中心驱动分配施加约束，以稳定学习。
• 通过利用RE公式，开发一种适用于梯度下降、马尔可夫链和消息传递方法的通用算法框架。
• 在精确可解模型中解析计算RE，以验证其理论基础。
• 证明该方法的性能对权重中精度位数的依赖性极弱，表明其具有广泛适用性。
• 将该框架应用于推导出多种优化范式下性能优异的新训练算法。

实验结果

研究问题

• RQ1 为何具有离散权重的神经网络在崎岖优化景观下仍能避免陷入不良局部极小值？
• RQ2 权重空间的何种结构特性使得神经网络能够实现高效学习？
• RQ3 能否系统性地识别并利用权重空间中的密集、可访问区域以改善训练？
• RQ4 如何构建一个鲁棒集成框架，以抑制孤立配置并增强高密度区域？
• RQ5 鲁棒集成方法在多大程度上可泛化至标准神经网络及其他优化问题？

主要发现

• 离散权重网络权重空间中存在极端密集且易达的区域，为避免陷入不良局部极小值提供了机制。
• 鲁棒集成（RE）度量成功抑制了孤立的次优配置，并凸显了权重空间中的高密度区域。
• 在精确可解模型中对RE的解析计算证实了其理论有效性和鲁棒性。
• 所提出的算法框架在多种学习方法（包括梯度下降、马尔可夫链和消息传递）中均带来显著的性能提升。
• 性能对权重精度的弱依赖性表明，类似原理可能同样适用于具有连续权重的标准神经网络。
• 该框架具有可泛化性，可应用于神经网络之外的其他优化问题。