[论文解读] A Distributed Frank-Wolfe Algorithm for Communication-Efficient Sparse Learning

Aurélien Bellet, Yingyu Liang+3 more|arXiv (Cornell University)|Apr 9, 2014

Sparse and Compressive Sensing Techniques参考文献 44被引用 6

一句话总结

本文提出了一种用于分布式系统中通信高效稀疏学习的分布式Frank-Wolfe（dFW）算法，其中数据分布在多个网络节点上。通过采用一种贪心、通信轻量的策略，迭代选择最相关的原子，dFW实现了与原子总数无关的最优通信复杂度，且在收敛性和对异步及通信中断的鲁棒性方面具有理论保证。

ABSTRACT

Learning sparse combinations is a frequent theme in machine learning. In this paper, we study its associated optimization problem in the distributed setting where the elements to be combined are not centrally located but spread over a network. We address the key challenges of balancing communication costs and optimization errors. To this end, we propose a distributed Frank-Wolfe (dFW) algorithm. We obtain theoretical guarantees on the optimization error $ε$ and communication cost that do not depend on the total number of combining elements. We further show that the communication cost of dFW is optimal by deriving a lower-bound on the communication cost required to construct an $ε$-approximate solution. We validate our theoretical analysis with empirical studies on synthetic and real-world data, which demonstrate that dFW outperforms both baselines and competing methods. We also study the performance of dFW when the conditions of our analysis are relaxed, and show that dFW is fairly robust.

研究动机与目标

• 解决在数据被分割到多个节点的分布式稀疏学习中最小化通信开销的挑战。
• 开发一种可扩展、无需参数调整的算法，以降低大规模分布式机器学习中的同步和通信成本。
• 提供关于优化误差和通信成本的理论保证，且这些保证与原子总数 $ n $ 无关。
• 确保在实际部署中对异步和随机通信中断等网络问题具有鲁棒性。
• 在稀疏数据的真实世界和合成设置中，展示dFW相较于基线方法和ADMM的实用性优势。

提出的方法

• 将集中式Frank-Wolfe算法适配到分布式设置中，每个节点维护一个本地迭代变量，并仅通信所选的原子。
• 在每次迭代中，每个节点计算其本地梯度，并选择与梯度内积最大的原子，从而最小化每次迭代的通信量。
• 采用递归更新方案来减少本地梯度的内存和计算开销，每个节点每轮仅需 $ O(n_i) $ 的计算量。
• 引入一种近似变体，通过聚类高成本节点来平衡本地计算，减少同步延迟。
• 通过允许节点在不等待所有其他节点的情况下继续更新，实现异步更新，从而在不可靠网络中提升可扩展性。
• 利用Frank-Wolfe框架保持稀疏性的能力，确保仅相关原子被通信和更新。

实验结果

研究问题

• RQ1 分布式Frank-Wolfe算法能否实现与原子总数 $ n $ 无关的通信复杂度？
• RQ2 在分布式稀疏学习中，构造一个 $ \epsilon $-近似解的通信成本理论下限是什么？
• RQ3 在负载不均、异步和随机通信中断等实际挑战下，dFW的性能如何？
• RQ4 在稀疏数据上，dFW能否在通信效率和收敛速度方面优于ADMM等现有方法？
• RQ5 dFW的通信成本在最坏情况下是否最优，且是否与推导出的下限一致？

主要发现

• dFW的通信成本上界由一个与 $ n $ 无关的量决定，仅依赖于 $ \epsilon $、$ d $ 和网络拓扑。
• dFW实现了 $ O(d/\epsilon) $ 的通信复杂度，与推导出的 $ \Omega(d/\epsilon) $ 下限一致，证明了最坏情况下的最优性。
• 在合成数据和真实世界数据上，dFW在通信效率和收敛速度方面均优于使用本地准则选择原子的基线方法。
• 当数据和解均为稀疏时，dFW的通信量显著低于ADMM，尤其在大规模设置下优势更明显。
• dFW对异步更新表现出鲁棒性，在高达40%的随机通信中断下仍能保持收敛。
• 在包含50个节点的真实分布式架构中，dFW实现了近线性加速，表现出低同步开销和强大的可扩展性。