[论文解读] Layer-Parallel Training of Deep Residual Neural Networks

Stefanie Günther, Lars Ruthotto+3 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Neural Network Applications参考文献 48被引用 9

一句话总结

该论文通过将反向传播重新表述为最优控制问题，并应用并行时间多重网格方法（MGRIT），提出了一种用于深度残差神经网络（ResNets）的层并行训练方法，实现了跨网络层的并发计算。该方法在保持相近模型精度的同时，相较于传统层串行训练实现了高达8.5倍的加速，展示了通过层间新并发机制实现的可扩展训练。

ABSTRACT

Residual neural networks (ResNets) are a promising class of deep neural networks that have shown excellent performance for a number of learning tasks, e.g., image classification and recognition. Mathematically, ResNet architectures can be interpreted as forward Euler discretizations of a nonlinear initial value problem whose time-dependent control variables represent the weights of the neural network. Hence, training a ResNet can be cast as an optimal control problem of the associated dynamical system. For similar time-dependent optimal control problems arising in engineering applications, parallel-in-time methods have shown notable improvements in scalability. This paper demonstrates the use of those techniques for efficient and effective training of ResNets. The proposed algorithms replace the classical (sequential) forward and backward propagation through the network layers by a parallel nonlinear multigrid iteration applied to the layer domain. This adds a new dimension of parallelism across layers that is attractive when training very deep networks. From this basic idea, we derive multiple layer-parallel methods. The most efficient version employs a simultaneous optimization approach where updates to the network parameters are based on inexact gradient information in order to speed up the training process. Using numerical examples from supervised classification, we demonstrate that the new approach achieves similar training performance to traditional methods, but enables layer-parallelism and thus provides speedup over layer-serial methods through greater concurrency.

研究动机与目标

• 解决由于前向和反向传播按层顺序进行而导致的非常深的ResNets训练可扩展性瓶颈。
• 利用ResNet训练与时变动力系统最优控制之间的数学类比，应用并行时间方法。
• 通过用层维数上的非线性多重网格迭代替代串行传播，实现在层之间的新型并发性。
• 评估层并行训练在训练速度、收敛性和最终模型精度方面的性能与效率。
• 探索使用近似梯度信息和同时优化以进一步加速训练的可行性。

提出的方法

• 将ResNet训练重新表述为最优控制问题，其中网络权重对应于非线性初值问题中的时变控制量。
• 应用时间多重网格减少法（MGRIT）并行求解状态方程和伴随方程，替代串行的前向和反向传播。
• 提出两种变体：(1) 基于MGRIT的标准反向传播替代方法，(2) 使用近似梯度信息的同步层并行方法。
• 使用非线性多重网格循环高效求解层间方程组，实现层块间的并行更新。
• 将该方法集成到标准训练框架中，包括随机梯度下降（SGD），无需架构修改。
• 相对于串行基线定义效率，承认MGRIT的非侵入性可能降低观测到的并行效率，但仍能实现显著的运行时间提升。

实验结果

研究问题

• RQ1 能否将类似MGRIT的并行时间方法有效应用于深度残差网络的训练，将层视为时间步？
• RQ2 使用MGRIT的层并行训练是否能在保持模型精度的同时，实现相对于层串行训练的显著加速？
• RQ3 在同步层并行方法中，近似前向和反向传播在多大程度上能维持训练性能？
• RQ4 该方法在增加网络深度和计算核心数量时的可扩展性如何？
• RQ5 该方法能否在无需重大修改的情况下集成到TensorFlow或PyTorch等现有深度学习框架中？

主要发现

• 在MNIST数据集上，该层并行训练方法在128个核心下将训练时间从619分钟减少至71分钟，实现了最高8.5倍的加速。
• 在Peaks和Indian Pines数据集上，分别观察到6.0倍和4.4倍的加速，分别使用256和128个核心，表明该方法随网络深度具有良好的可扩展性。
• MGRIT替代方法和同步层并行方法在训练损失和验证精度方面均与标准层串行训练相当。
• 在同步方法中使用近似梯度降低了内部迭代的精度，但维持了训练性能，同时加速了每次迭代。
• 该方法实现了真正的层并行性，打破了深度网络中串行层传播的线性扩展瓶颈。
• 结果表明，更快的训练可实现更高效的超参数搜索，并可能在实践中带来更好的整体模型性能。