[论文解读] Fully Decoupled Neural Network Learning Using Delayed Gradients

Huiping Zhuang, Yi Wang+3 more|arXiv (Cornell University)|Jun 21, 2019

Advanced Neural Network Applications参考文献 28被引用 12

一句话总结

本文提出了一种使用延迟梯度的完全解耦神经网络学习（FDG）方法，通过在多个工作节点间异步训练网络模块，打破了反向传播中的前向、反向和更新锁。FDG 使用延迟梯度并结合梯度收缩过程以减少梯度陈旧性，在 CIFAR-10 上实现最高 3.20× 的加速，在 ImageNet 上实现 2.72× 的加速，且在深度和宽网络上达到或超过标准反向传播的性能表现。

ABSTRACT

Training neural networks with back-propagation (BP) requires a sequential passing of activations and gradients, which forces the network modules to work in a synchronous fashion. This has been recognized as the lockings (i.e., the forward, backward and update lockings) inherited from the BP. In this paper, we propose a fully decoupled training scheme using delayed gradients (FDG) to break all these lockings. The FDG splits a neural network into multiple modules and trains them independently and asynchronously using different workers (e.g., GPUs). We also introduce a gradient shrinking process to reduce the stale gradient effect caused by the delayed gradients. In addition, we prove that the proposed FDG algorithm guarantees a statistical convergence during training. Experiments are conducted by training deep convolutional neural networks to perform classification tasks on benchmark datasets, showing comparable or better results against the state-of-the-art methods as well as the BP in terms of both generalization and acceleration abilities. In particular, we show that the FDG is also able to train very wide networks (e.g., WRN-28-10) and extremely deep networks (e.g., ResNet-1202). Code is available at https://github.com/ZHUANGHP/FDG.

研究动机与目标

• 消除标准反向传播中固有的顺序锁（前向、反向、更新），以提升训练效率。
• 实现深度神经网络的真正模块级并行化，无需同步传递或共享梯度。
• 在实现高速加速的同时，保持或提升泛化性能。
• 开发一种方法，避免引入额外可学习参数，与以往的局部误差学习方法不同。
• 证明所提出的完全解耦训练方案的统计收敛性。

提出的方法

• 将网络拆分为多个独立模块，在多个工作节点（如 GPU）上异步训练，消除顺序依赖。
• 使用延迟梯度在完整反向传播完成前更新参数，将更新与反向传播解耦。
• 引入梯度收缩过程，以减轻延迟更新带来的陈旧梯度的负面影响。
• 与 DNI 或 DGL 不同，该方法不使用辅助网络或额外可学习参数，保持模型效率。
• 理论分析证明，在较弱假设下，FDG 可保证统计收敛性。
• 通信通过标准协议进行，性能预期随高速互连（如 NVLink）提升。

实验结果

研究问题

• RQ1 是否可以在不引入额外可学习参数的情况下，实现深度神经网络的完全解耦训练？
• RQ2 使用梯度收缩的延迟梯度是否能保持或改善与标准反向传播相比的泛化性能？
• RQ3 在分布式环境中，异步模块级训练在多大程度上能实现线性加速？
• RQ4 FDG 在极深（如 ResNet-1202）和极宽（如 WRN-28-10）网络上的表现如何？
• RQ5 通信开销对加速的影响如何，特别是在 ImageNet 等大规模数据集上？

主要发现

• 在 CIFAR-10 上，使用 2 个 GPU 时，FDG 实现了 1.88× 的加速，使用 3 个 GPU 时达到 2.72×，接近线性扩展。
• 在 ImageNet 上使用 ResNet-101 时，FDG 在 2 个 GPU 下实现 1.68× 加速，使用高速互连后性能将进一步提升。
• 该方法成功训练了极宽网络（WRN-28-10）和极深网络（ResNet-1202），性能与标准反向传播相当或更优。
• 由于异步训练减少了空闲时间，FDG 的 GPU 利用率高于基于 BU 的方法（如 DDG、FR）。
• 梯度收缩过程改善了泛化性能，尤其在更深网络中，有效缓解了延迟梯度的负面影响。
• 在缺乏高速互连的情况下，通信开销在大规模数据集上占主导地位，导致超过 3 个 GPU 后加速增益受限。