[论文解读] Multi-level Residual Networks from Dynamical Systems View

Bo Chang, Lili Meng+3 more|arXiv (Cornell University)|Oct 27, 2017

Advanced Neural Network Applications参考文献 24被引用 68

一句话总结

本论文将 ResNets 解释为动态系统，并提出一种多层次训练方法，该方法在增深网络深度的同时将步长减半，在标准数据集上实现约40%的训练时间降低，且精度具有竞争力。

ABSTRACT

Deep residual networks (ResNets) and their variants are widely used in many computer vision applications and natural language processing tasks. However, the theoretical principles for designing and training ResNets are still not fully understood. Recently, several points of view have emerged to try to interpret ResNet theoretically, such as unraveled view, unrolled iterative estimation and dynamical systems view. In this paper, we adopt the dynamical systems point of view, and analyze the lesioning properties of ResNet both theoretically and experimentally. Based on these analyses, we additionally propose a novel method for accelerating ResNet training. We apply the proposed method to train ResNets and Wide ResNets for three image classification benchmarks, reducing training time by more than 40% with superior or on-par accuracy.

研究动机与目标

• 从动态系统角度动机与分析残差网络，以解释病变和鲁棒性属性。
• 提出一种受多网格思想启发的实用多层次训练方法，以加速 ResNet 训练。
• 在标准图像分类数据集上展示该方法在 ResNet 与 Wide ResNet 架构上的有效性。

提出的方法

• 将 ResNets 模型化为带隐式步长 h 的离散化 ODE，并展示残差块如何对应 ODE 离散化中的时间步。
• 进行病灶分析以解释为何当残差输出较小时移除或重新排列块影响有限。
• 引入一个多层次训练过程：从较浅的网络开始（较大 h），通过在每个现有块后插入块来进行插值，然后将 h 对半，在循环中重复。
• 通过拷贝相邻块参数来初始化更深模型，实现权重插值以扩展深度。
• 在每个循环内使用循环学习率计划以维持训练性能。
• 提供理论上的节省时间估计和经验结果，显示在保持精度的同时训练时间约减少40%。

实验结果

研究问题

• RQ1 动态系统解释如何解释 ResNet 对于块移除或重新排序的鲁棒性？
• RQ2 是否可以通过多层次插值策略在不牺牲精度的情况下加速 ResNet 训练？
• RQ3 在标准基准上将多层次训练应用于 ResNet 与 Wide ResNet 时的实际训练时间节省与准确度权衡是什么？

主要发现

• 平均残差范数与块数的反比关系一致于动力系统视角（G(Y_j) ~ T/d）。
• 病灶分析显示当残差输出较小时时移除块几乎无影响，与残差作为特征精炼器的作用一致。
• 提出的多层次训练方法在 CIFAR-10、CIFAR-100 和 STL-10 上对 ResNet 与 Wide ResNet 实现了超过40%的训练时间降低，且精度优于或等于最后循环模型。
• 通过基于插值的深度扩展可以有效初始化更深的模型，支持三阶段循环（例如 2-2-2 到 4-4-4 到 8-8-8，或 5-5-5 到 20-20-20）。
• 该方法在显著降低墙钟时间的同时保持有竞争力的测试误差，得到来自 ResNet 与 Wide ResNet 实验的支持。