[论文解读] Highway Networks

Rupesh K. Srivastava, Klaus Greff+1 more|arXiv (Cornell University)|May 3, 2015

Advanced Neural Network Applications参考文献 10被引用 301

一句话总结

高速公路网络引入了一种新颖的深度神经网络架构，通过可学习的门控单元，实现数百层网络的直接训练。通过允许信息在'高速公路'中畅通无阻地流动，该方法稳定了梯度流动，使得使用各种激活函数在非常深的网络架构中通过随机梯度下降实现有效训练成为可能。

ABSTRACT

There is plenty of theoretical and empirical evidence that depth of neural networks is a crucial ingredient for their success. However, network training becomes more difficult with increasing depth and training of very deep networks remains an open problem. In this extended abstract, we introduce a new architecture designed to ease gradient-based training of very deep networks. We refer to networks with this architecture as highway networks, since they allow unimpeded information flow across several layers on information highways. The architecture is characterized by the use of gating units which learn to regulate the flow of information through a network. Highway networks with hundreds of layers can be trained directly using stochastic gradient descent and with a variety of activation functions, opening up the possibility of studying extremely deep and efficient architectures.

研究动机与目标

• 为解决训练极深神经网络的挑战，随着深度增加，训练难度不断上升。
• 改善深度网络中的梯度流动，以实现稳定且高效的训练。
• 设计一种可扩展的架构，支持数百层网络，避免梯度消失或梯度爆炸。
• 在极深设置下，支持使用多种激活函数进行训练。

提出的方法

• 提出一种新型网络架构，其中每一层都使用门控机制来控制信息流动。
• 使用可学习门控，动态决定是直接传递输入，还是通过非线性变换进行处理。
• 将高速公路层定义为变换输入与门控残差路径的组合：H(x) = G(x) * T(x) + (1 - G(x)) * x，其中G为门控，T为变换。
• 使用随机梯度下降训练整个网络，门控与变换联合优化。
• 在多个堆叠层中应用高速公路架构，构建极深网络。

实验结果

研究问题

• RQ1 能否使用标准优化方法有效训练具有数百层的极深神经网络？
• RQ2 可学习门控的使用如何改善深度架构中的梯度流动？
• RQ3 高速公路架构在极深设置下对不同激活函数是否保持性能？
• RQ4 高速公路网络在极端深度下是否能保持训练稳定性并实现良好泛化？

主要发现

• 高速公路网络成功使用随机梯度下降训练了最多100层的深度架构。
• 该架构在多种激活函数（包括ReLU和tanh）下均实现了稳定训练。
• 可学习门控的使用显著改善了梯度流动，有效缓解了梯度消失问题。
• 尽管网络深度极大，该方法在基准任务上仍取得了具有竞争力的性能。