[论文解读] COLA: Communication-Efficient Decentralized Linear Learning

Lie He, An Bian+1 more|arXiv (Cornell University)|Jan 1, 2018

Privacy-Preserving Technologies in Data被引用 1

一句话总结

COLA 提出了一种通信高效、去中心化的线性模型训练算法，无需中心协调器，通过本地更新和自适应通信实现可扩展性和弹性。在动态、去中心化的网络中，其收敛速度和通信效率均优于现有方法。

ABSTRACT

Decentralized machine learning is a promising emerging paradigm in view of global challenges of data ownership and privacy. We consider learning of linear classification and regression models, in the setting where the training data is decentralized over many user devices, and the learning algorithm must run on-device, on an arbitrary communication network, without a central coordinator. We propose COLA, a new decentralized training algorithm with strong theoretical guarantees and superior practical performance. Our framework overcomes many limitations of existing methods, and achieves communication efficiency, scalability, elasticity as well as resilience to changes in data and participating devices.

研究动机与目标

• 解决在严格数据隐私和所有权约束环境下去中心化机器学习的挑战。
• 设计一种无需中心协调器、可在任意通信网络上运行的去中心化训练算法。
• 在动态、现实的环境中，实现高通信效率的同时保持强收敛保证。
• 确保在去中心化学习系统中对设备和数据分布变化具有可扩展性和弹性。

提出的方法

• COLA 基于对偶上升和基于一致性更新的去中心化优化框架，用于在设备间训练线性模型。
• 通过周期性同步的本地模型更新来减少通信开销。
• 该算法根据本地进展和网络状况动态调整通信频率。
• 采用对偶分解方法将全局优化与本地计算解耦，实现在无中心控制下的协调。
• 在数据分布和网络连通性满足弱假设的条件下，COLA 确保收敛至最优解。

实验结果

研究问题

• RQ1 如何在无中心协调器的去中心化环境中高效训练线性模型？
• RQ2 何种通信策略可在动态网络中实现高效率，同时保持收敛保证？
• RQ3 该算法在现实去中心化系统中常见的设备和数据分布变化下表现如何？
• RQ4 该框架能否扩展至具有不同计算和通信能力的大量设备？

主要发现

• 在相同通信预算下，COLA 的收敛速度优于现有去中心化算法。
• 该算法在去中心化环境中对设备掉线和动态数据分布表现出强韧性。
• 通信效率显著提升，大幅减少了达到收敛所需的通信轮次。
• 该框架能有效扩展至大量设备，在异构数据和网络条件下仍保持性能。