[论文解读] Consensus Control for Decentralized Deep Learning

Lingjing Kong, Tao Lin+3 more|arXiv (Cornell University)|Feb 9, 2021

Privacy-Preserving Technologies in Data参考文献 63被引用 8

一句话总结

本文将共识距离——设备间模型参数的平均偏差——识别为影响去中心化深度学习泛化性能的关键因素。通过在训练过程中自适应地控制共识距离，作者实现了与集中式训练相当的性能，即使在环形等稀疏拓扑结构中也是如此，其方法通过合理控制通信过程，在效率与模型质量之间取得平衡。

ABSTRACT

Decentralized training of deep learning models enables on-device learning over networks, as well as efficient scaling to large compute clusters. Experiments in earlier works reveal that, even in a data-center setup, decentralized training often suffers from the degradation in the quality of the model: the training and test performance of models trained in a decentralized fashion is in general worse than that of models trained in a centralized fashion, and this performance drop is impacted by parameters such as network size, communication topology and data partitioning. We identify the changing consensus distance between devices as a key parameter to explain the gap between centralized and decentralized training. We show in theory that when the training consensus distance is lower than a critical quantity, decentralized training converges as fast as the centralized counterpart. We empirically validate that the relation between generalization performance and consensus distance is consistent with this theoretical observation. Our empirical insights allow the principled design of better decentralized training schemes that mitigate the performance drop. To this end, we provide practical training guidelines and exemplify its effectiveness on the data-center setup as the important first step.

研究动机与目标

• 理解尽管优化收敛速度相似，为何去中心化训练通常在性能上落后于集中式训练。
• 识别去中心化深度学习中泛化差距的根本原因，特别是在数据中心环境中使用独立同分布（i.i.d.）数据时。
• 提出一种系统性方法，在训练过程中控制共识距离，以提升泛化性能，同时不牺牲通信效率。
• 验证共识距离是影响多种架构和通信拓扑下模型性能的关键可调参数。

提出的方法

• 引入共识距离作为度量指标，用于衡量设备间模型参数相对于全局均值的平均偏差。
• 提出自适应共识控制方法，通过动态调整通信频率或本地更新步数，以维持最优共识距离。
• 采用gossip平均算法进行去中心化参数聚合，并通过控制每轮通信的本地更新次数来调节共识距离。
• 利用通信拓扑结构（如环形、指数图）的谱间隙分析，建立网络结构与共识收敛速度之间的关联。
• 在多个基准测试中应用该方法：CIFAR-10上的ResNet-20、ImageNet-32，以及Multi30k上的下采样Transformer模型。
• 采用分阶段训练控制策略——根据对性能动态的实证洞察，在训练初期与后期分别调整共识距离。

实验结果

研究问题

• RQ1 在数据中心环境中，为何集中式与去中心化深度学习训练之间存在泛化差距？
• RQ2 共识距离——设备间模型参数的平均偏差——如何影响训练和测试性能？
• RQ3 是否存在一个最优共识距离以最大化泛化性能？该最优值是否随训练阶段而变化？
• RQ4 是否可利用自适应共识控制实现在去中心化训练中达到集中式水平的性能，同时保持通信效率？
• RQ5 不同通信拓扑结构（如环形、指数图）和学习算法（如Adam）如何与去中心化训练中的共识距离相互作用？

主要发现

• 当共识距离保持在临界阈值以下时，去中心化训练的收敛速度与集中式训练相当，证实了理论上的收敛等价性。
• 在环形拓扑上使用64个工作者训练ResNet-20于CIFAR-10时，去中心化训练的测试准确率为89.58%，而All-Reduce方法达到92.71%，显示出显著的泛化差距。
• 采用最优共识距离的自适应共识控制（例如通过调整本地更新步数）可提升测试准确率：在时变指数图上，性能峰值达到93.13%（对应0.25×φ^ema_t），超过基线的92.64%。
• 训练初期至关重要：早期维持低共识距离可显著提升最终泛化性能；而在后期阶段，较高的共识距离可能具有积极作用。
• 对于Multi30k上的Transformer模型，去中心化Adam因本地动量缓冲区发散而无法泛化；学习率调优无法解决此问题，凸显了共识控制的必要性。
• 实证结果证实存在收益递减效应：将共识距离进一步降低至临界阈值以下无法带来额外性能提升，验证了最优共识距离的存在。