[论文解读] Adaptive Serverless Learning

Hongchang Gao, Heng Huang|arXiv (Cornell University)|Aug 24, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用 4

一句话总结

本文提出了首个自适应去中心化训练方法——去中心化Adam（Decentralized Adam），该方法根据本地数据动态调整每个工作节点的学习率，实现了与工作节点数量成线性关系的加速。此外，本文还提出一种通信高效的变体，通过跳过通信轮次和压缩模型更新，实现了理论上的收敛性与线性加速，且在稀疏、类别型数据任务上表现出良好的实际效果。

ABSTRACT

With the emergence of distributed data, training machine learning models in the serverless manner has attracted increasing attention in recent years. Numerous training approaches have been proposed in this regime, such as decentralized SGD. However, all existing decentralized algorithms only focus on standard SGD. It might not be suitable for some applications, such as deep factorization machine in which the feature is highly sparse and categorical so that the adaptive training algorithm is needed. In this paper, we propose a novel adaptive decentralized training approach, which can compute the learning rate from data dynamically. To the best of our knowledge, this is the first adaptive decentralized training approach. Our theoretical results reveal that the proposed algorithm can achieve linear speedup with respect to the number of workers. Moreover, to reduce the communication-efficient overhead, we further propose a communication-efficient adaptive decentralized training approach, which can also achieve linear speedup with respect to the number of workers. At last, extensive experiments on different tasks have confirmed the effectiveness of our proposed two approaches.

研究动机与目标

• 解决现有去中心化SGD方法使用固定学习率的局限性，该方法在深度因子分解机等稀疏、类别型数据上表现不佳。
• 开发一种去中心化训练框架，支持每个工作节点动态调整学习率，无需人工调参。
• 通过引入通信跳过机制与模型压缩，降低去中心化训练中的通信开销。
• 在非凸设置下，为自适应去中心化训练建立理论收敛保证，并实现与工作节点数量成线性关系的加速。
• 确保在异构数据上的大规模分布式机器学习中具备实际可扩展性与高效性。

提出的方法

• 提出去中心化Adam，其中每个工作节点基于本地梯度统计信息动态计算自适应学习率，灵感来源于Adam优化器。
• 引入通信跳过机制，即工作节点仅每p轮同步一次，以降低通信频率。
• 对邻居之间通信的参数应用模型压缩，以减少每轮通信的带宽使用。
• 使用双重随机混合矩阵W，确保工作节点间达成一致性，并在去中心化设置下维持收敛性。
• 理论分析基于光滑性、有界梯度与方差控制，推导出具有线性加速特性的收敛边界。
• 通过基于各坐标运行估计的二阶矩的自适应学习率更新，实现自适应学习率，同时引入一个微小常数τ以增强数值稳定性。

实验结果

研究问题

• RQ1 自适应学习率能否在保持收敛性保证的前提下成功集成到去中心化训练中？
• RQ2 在去中心化训练中跳过通信轮次是否能保持收敛性，并实现与工作节点数量成线性关系的加速？
• RQ3 模型压缩能否与自适应去中心化训练有效结合，而不降低收敛性或性能？
• RQ4 与标准去中心化SGD相比，所提方法在真实世界稀疏、类别型数据任务上的表现如何？
• RQ5 在非凸优化设置下，自适应去中心化训练的理论收敛速率是多少？

主要发现

• 所提出的去中心化Adam首次在自适应去中心化训练中实现了与工作节点数量成线性关系的加速。
• 结合跳过通信与压缩的通信高效变体同样实现了线性加速，表明在减少通信量的情况下仍具备良好的可扩展性。
• 理论分析确认了收敛性，其期望平方梯度范数的收敛速率为O(1/T)的次线性形式。
• 在多样化任务上的实证结果证实了两种方法的有效性，尤其在稀疏、类别型数据上，自适应学习率的作用尤为关键。
• 在深度因子分解机任务中，该方法在收敛速度与最终模型精度方面均优于标准去中心化SGD。