[论文解读] COLA: Decentralized Linear Learning

Lie He, An Bian+1 more|arXiv (Cornell University)|Aug 13, 2018

Privacy-Preserving Technologies in Data被引用 43

一句话总结

COLA 是一个在任意网络上设备端对广义线性模型进行完全去中心化训练的框架，提供收敛性保证、通信效率，以及对拓扑变动和节点可用性的鲁棒性。

ABSTRACT

Decentralized machine learning is a promising emerging paradigm in view of global challenges of data ownership and privacy. We consider learning of linear classification and regression models, in the setting where the training data is decentralized over many user devices, and the learning algorithm must run on-device, on an arbitrary communication network, without a central coordinator. We propose COLA, a new decentralized training algorithm with strong theoretical guarantees and superior practical performance. Our framework overcomes many limitations of existing methods, and achieves communication efficiency, scalability, elasticity as well as resilience to changes in data and participating devices.

研究动机与目标

• 推动去中心化学习以保护数据所有权和隐私，同时在分布式设备上实现联合训练。
• 开发具有收敛性保证的广义线性模型去中心化算法。
• 确保通信效率、可扩展性，以及对动态网络拓扑和数据变化的鲁棒性。
• 利用原-对偶技术将集中式 CoCoA 的思想扩展到完全去中心化的设置。
• 提供实用的诊断工具和证书，以在去中心化部署中监控学习进展。

提出的方法

• 将学习问题表述为适合去中心化优化的原始和对偶形式（A）和（B）。
• 引入 CoLa，其中在每个节点局部数据局部子问题被近似求解（Theta-近似）。
• 使用对共享状态的局部估计 v_k 和类闲聊的信息混合矩阵 W 在不需要中心协调者的情况下进行信息交换。
• 定义仅依赖本地数据 A_[k] 与相邻 v_l 项的局部子问题 G_k^sigma'（方程 2）。
• 通过 v_k 更新和全局聚合参数 gamma 来汇聚更新以确保进展。
• 建立收敛性保证：强凸目标的线性收敛和一般凸目标的亚线性收敛，具有数据相关常数和局部对偶证明。

实验结果

研究问题

• RQ1 在不假设设备间独立同分布数据的前提下，去中心化优化是否能够为广义线性模型提供与集中方法相当的收敛性保证？
• RQ2 如何设计一个通信高效、具弹性且容错的去中心化算法，以容忍网络和数据分布的变化？
• RQ3 在完全去中心化的设置下，在强凸与一般凸条件下可证明的收敛速度（线性 vs 亚线性）是什么？
• RQ4 实践者如何在没有中心协调者的情况下本地监控进展（本地证书）？

主要发现

• CoLa 对强凸分量实现线性收敛，对一般凸目标实现亚线性收敛。
• 该算法对拓扑变化、节点掉线以及数据/分区改变具有鲁棒性，无需参数调优。
• 在经验测试中，CoLa 在通信轮次和时间方面优于去中心化基线如 DIGing 和 D-ADMM。
• 本地证书使在无全局同步或中央聚合的情况下诊断进展成为可能。
• 该方法支持时变图并可以利用改进的二阶子问题获得进一步收益。