[论文解读] Skip Connections as Effective Symmetry-Breaking.

A. Emin Orhan|arXiv (Cornell University)|Jan 31, 2017

Neural Networks and Applications被引用 17

一句话总结

本文提出，深度神经网络中的跳跃连接主要通过打破损失曲面中的排列对称性和缩放对称性来发挥作用，从而显著简化训练动态。来自二值权重模型和全连接网络的实证证据表明，由跳跃连接实现的对称性破缺是训练成功的关键，尽管跳跃连接在缓解梯度消失方面也提供了额外优势。

ABSTRACT

Skip connections made the training of very deep neural networks possible and have become an indispendable component in a variety of neural architectures. A completely satisfactory explanation for their success remains elusive. Here, we present a novel explanation for the benefits of skip connections in training very deep neural networks. We argue that skip connections help break symmetries inherent in the loss landscapes of deep networks, leading to drastically simplified landscapes. In particular, skip connections between adjacent layers in a multilayer network break the permutation symmetry of nodes in a given layer, and the recently proposed DenseNet architecture, where each layer projects skip connections to every layer above it, also breaks the rescaling symmetry of connectivity matrices between different layers. This hypothesis is supported by evidence from a toy model with binary weights and from experiments with fully-connected networks suggesting (i) that skip connections do not necessarily improve training unless they help break symmetries and (ii) that alternative ways of breaking the symmetries also lead to significant performance improvements in training deep networks, hence there is nothing special about skip connections in this respect. We find, however, that skip connections confer additional benefits over and above symmetry-breaking, such as the ability to deal effectively with the vanishing gradients problem.

研究动机与目标

• 解释跳跃连接为何在实现极深神经网络训练方面如此有效。
• 探究跳跃连接的成功是否源于损失曲面中的对称性破缺，而非单纯的梯度流动。
• 测试是否可通过其他对称性破缺机制实现类似的训练性能提升，从而表明跳跃连接在该方面并非唯一有效。

提出的方法

• 通过二值权重的简化模型分析，以隔离损失曲面中对称性破缺的影响。
• 设计全连接网络实验，比较不同连接模式下的训练动态。
• 引入并评估跳跃连接在打破同一层内节点之间排列对称性中的作用。
• 研究DenseNet的密集连接模式如何打破层间连接矩阵的缩放对称性。
• 比较不依赖跳跃连接但打破对称性的架构与保留跳跃连接的架构在训练性能上的差异。
• 评估跳跃连接在对称性破缺之外对梯度流动的影响，特别是对缓解梯度消失问题的作用。

实验结果

研究问题

• RQ1 跳跃连接在在隐藏层节点之间破除排列对称性方面，能在多大程度上改善训练？
• RQ2 是否可通过不使用跳跃连接但能破除相同对称性的替代连接模式，实现相当的训练性能？
• RQ3 层间连接矩阵的缩放对称性是否也需要被打破，才能实现深度网络的有效训练？
• RQ4 跳跃连接的优势是否完全源于对称性破缺，还是其还提供了额外优势？
• RQ5 跳跃连接在对称性破缺之外，如何进一步缓解梯度消失问题？

主要发现

• 只有当跳跃连接打破了同一层内节点之间的排列对称性时，它们才能显著改善训练。
• 通过替代连接模式打破对称性的架构（即使无跳跃连接）可实现相似的训练性能，表明对称性破缺是核心机制。
• DenseNet架构因其密集跳跃连接而打破了层间的缩放对称性，从而促进了优化性能的提升。
• 对称性破缺是有效训练的必要条件，但非充分条件；跳跃连接在缓解梯度消失方面还提供了额外优势。
• 来自二值权重模型和全连接网络的实证结果证实，对称性破缺是极深网络训练成功的主要驱动力。