[论文解读] Highway and Residual Networks learn Unrolled Iterative Estimation

Klaus Greff, Rupesh K. Srivastava+1 more|arXiv (Cornell University)|Dec 22, 2016

Machine Learning and Algorithms被引用 101

一句话总结

该论文将 Highway 和 Residual 网络重新表述为在单个阶段内对单一表示的展开迭代估计，并从这一视角推导出两种架构，并在语言建模和图像分类任务上进行经验比较。

ABSTRACT

The past year saw the introduction of new architectures such as Highway networks and Residual networks which, for the first time, enabled the training of feedforward networks with dozens to hundreds of layers using simple gradient descent. While depth of representation has been posited as a primary reason for their success, there are indications that these architectures defy a popular view of deep learning as a hierarchical computation of increasingly abstract features at each layer. In this report, we argue that this view is incomplete and does not adequately explain several recent findings. We propose an alternative viewpoint based on unrolled iterative estimation -- a group of successive layers iteratively refine their estimates of the same features instead of computing an entirely new representation. We demonstrate that this viewpoint directly leads to the construction of Highway and Residual networks. Finally we provide preliminary experiments to discuss the similarities and differences between the two architectures.

研究动机与目标

• 为对极深网络的以表示为中心的理解提供一个替代视角。
• 引入展开迭代估计作为 Highway 与 Residual 块在一个阶段内对表示进行细化的机制。
• 从迭代估计的视角正式推导 Residual 与 Highway 网络。
• 在图像分类和语言建模任务上对 Highway 与 Residual 架构进行实证比较。

提出的方法

• 将阶段内的块视为对单一特征表示的迭代细化，保持跨层的特征身份。
• 将 Residual 网络推导为在迭代估计视角下保持特征身份的零均值残差块。
• 将 Highway 网络推导为对先前估计和新变换的最优线性组合，得到耦合门控形式 H(x) 和 T(x)。
• 提供分析与实证支撑，包括跨阶段的估计误差度量和受可视化启发的证据。
• 开展比较案例研究，在 ImageNet 和语言建模基准上评估 Highway 与 Residual 的变体。

实验结果

研究问题

• RQ1 在统一的展开迭代估计视角下，是否可以推导出 Highway 和 Residual 网络？
• RQ2 一个阶段内的块是否在迭代地细化单一表示而非创造新的抽象？
• RQ3 在这一框架下， Highway 与 Residual 架构在视觉与语言任务中的实际表现有何差异？
• RQ4 迭代估计对训练动态、剪枝和层级乱序的影响是什么？
• RQ5 在迭代估计下，门控（变换与承载）和批归一化在这些架构中的作用是什么？

主要发现

• Residual 网络可以解读为在一个阶段内通过零均值残差来保留特征身份。
• Highway 网络可以推导为先前估计与新变换的最优线性组合，从而产生耦合门控（H 和 T），实现特征身份的保留。
• 实证结果显示 ResNet 在 ImageNet 的 top-5 准确率略高于 Highway（7.17% 对 7.53% 与 Highway；7.29% 为 Highway-Full），而带 BN 的 Highway 变体可以缩小差距。
• 语言模型实验表明 Full、Coupled 和 C-Only Highway 变体的表现优于 Residual 变体，凸显在某些任务中表达性门控的重要性。
• 研究提供了定性和可视化证据，表明一个阶段内的特征在多层之间被细化，支持迭代估计的观点。
• 层级 dropout 与偶发的层重排效应与基于迭代估计的集成式解释相一致。