[论文解读] Decoupled Parallel Backpropagation with Convergence Guarantee

Zhouyuan Huo, Bin Gu+2 more|arXiv (Cornell University)|Apr 27, 2018

Stochastic Gradient Optimization Techniques被引用 32

一句话总结

该论文提出了一种去耦延迟梯度（Decoupled Delayed Gradients, DDG）方法，一种并行反向传播技术，通过使用延迟梯度打破深度神经网络中的反向传播锁死问题，实现GPU的完全利用。该方法在非凸问题上保证收敛至临界点，并在4块GPU上实现高达2倍的加速，且在ResNet-56和ResNet-110上未损失精度。

ABSTRACT

Backpropagation algorithm is indispensable for the training of feedforward neural networks. It requires propagating error gradients sequentially from the output layer all the way back to the input layer. The backward locking in backpropagation algorithm constrains us from updating network layers in parallel and fully leveraging the computing resources. Recently, several algorithms have been proposed for breaking the backward locking. However, their performances degrade seriously when networks are deep. In this paper, we propose decoupled parallel backpropagation algorithm for deep learning optimization with convergence guarantee. Firstly, we decouple the backpropagation algorithm using delayed gradients, and show that the backward locking is removed when we split the networks into multiple modules. Then, we utilize decoupled parallel backpropagation in two stochastic methods and prove that our method guarantees convergence to critical points for the non-convex problem. Finally, we perform experiments for training deep convolutional neural networks on benchmark datasets. The experimental results not only confirm our theoretical analysis, but also demonstrate that the proposed method can achieve significant speedup without loss of accuracy.

研究动机与目标

• 解决深度神经网络中反向传播的反向锁死瓶颈，该瓶颈限制了训练的并行性。
• 通过解耦网络模块间的梯度计算，实现多GPU系统的完全利用。
• 开发一种方法，在显著缩短深度网络训练时间的同时保持训练精度。
• 为深度学习中的非凸优化问题提供理论收敛保证。
• 在不同网络深度和划分配置下，展示方法的可扩展性和鲁棒性。

提出的方法

• 通过引入延迟梯度，解耦反向传播过程，使每个网络模块能够独立计算梯度，无需等待上游依赖。
• 将网络划分为K个模块，并将每个模块分配给不同的GPU，实现前向和反向传播的并行执行。
• 采用两种随机优化方法——随机梯度下降及其变体，结合延迟梯度实现权重的并行更新。
• 将优化问题表述为使用延迟梯度近似的形式，并在较弱假设下证明其收敛至临界点。
• 引入一种延迟梯度更新规则，利用前序迭代的历史信息近似真实梯度。
• 通过限制延迟并分析模块数量K对收敛速度的影响，确保方法的稳定性和收敛性。

实验结果

研究问题

• RQ1 是否可以在不牺牲深度网络模型精度的前提下，消除反向传播中的反向锁死问题？
• RQ2 在解耦框架中使用延迟梯度，是否能保证非凸深度学习问题的收敛性？
• RQ3 网络划分数量（K）如何影响收敛速度和模型性能？
• RQ4 所提方法是否能高效扩展至多块GPU，同时减少总训练时间？
• RQ5 与DNI和合成梯度等现有方法相比，该方法在深度架构上的精度和稳定性表现如何？

主要发现

• 在4块GPU上训练ResNet-110时，DDG实现了高达2倍的加速，与标准反向传播相比，总计算时间减少了30%–50%。
• 在CIFAR-10和CIFAR-100数据集上，DDG的Top-1精度与标准反向传播相当或略优（例如，CIFAR-10上ResNet-110的精度为93.53% vs. 93.41%）。
• 即使在较深层（如第7层）设置分割点时，该方法仍保持稳定并可靠收敛，而DNI在相同条件下无法收敛。
• DDG在不同分割点数量（K=2至4）下均保持一致性能，表现出对网络架构划分的鲁棒性。
• 在标准反向传播中，前向传播时间仅占总训练时间的约32%，证实反向锁死是主要瓶颈。
• DDG充分利用GPU资源，实现约70%的GPU利用率，而标准反向传播因顺序依赖关系导致GPU空闲时间较长。