[论文解读] Distributed Learning with Sublinear Communication

Jayadev Acharya, Christopher De+2 more|arXiv (Cornell University)|Feb 28, 2019

Distributed Sensor Networks and Detection Algorithms被引用 17

一句话总结

该论文提出了一种分布式学习算法，通过结合镜像下降（mirror descent）与模型迭代的随机稀疏化和量化，实现了维度d下次线性通信的最优过失风险。研究表明，在放宽的有界性假设下——具体而言，使用Schatten-p范数而非标准ℓ₁或ℓ₂约束——通信量可减少至与维度d的对数依赖，从而实现高效的高维学习。

ABSTRACT

In distributed statistical learning, $N$ samples are split across $m$ machines and a learner wishes to use minimal communication to learn as well as if the examples were on a single machine. This model has received substantial interest in machine learning due to its scalability and potential for parallel speedup. However, in high-dimensional settings, where the number examples is smaller than the number of features ("dimension"), the speedup afforded by distributed learning may be overshadowed by the cost of communicating a single example. This paper investigates the following question: When is it possible to learn a $d$-dimensional model in the distributed setting with total communication sublinear in $d$? Starting with a negative result, we show that for learning $\ell_1$-bounded or sparse linear models, no algorithm can obtain optimal error until communication is linear in dimension. Our main result is that that by slightly relaxing the standard boundedness assumptions for linear models, we can obtain distributed algorithms that enjoy optimal error with communication logarithmic in dimension. This result is based on a family of algorithms that combine mirror descent with randomized sparsification/quantization of iterates, and extends to the general stochastic convex optimization model.

研究动机与目标

• 探究分布式学习是否能在维度d的通信量次线性下实现最优过失风险。
• 解决分布式机器学习中高维通信的实用瓶颈，特别是在N ≪ d时。
• 克服标准ℓ₁-或ℓ₂有界模型需要线性通信才能实现最优误差的局限性。
• 开发一种在高维设置下保持统计最优性的通信高效算法。
• 将框架扩展至线性模型之外的一般随机凸优化问题。

提出的方法

• 提出一类基于镜像下降的算法家族，对模型迭代进行随机稀疏化和量化。
• 使用Schatten-p范数（‖W‖_{S_p}）作为正则化项，以实现更优的通信-精度权衡。
• 应用Maurey的稀疏化方法，将梯度或模型参数压缩至每轮迭代约log d个坐标。
• 利用p ≤ 2时Schatten-p正则化项的强凸性，保持收敛性保证。
• 通过Bregman散度分析，控制稀疏化和量化引入的误差。
• 通过控制Bregman散度中的期望偏差，建立每轮迭代O(log d)的通信复杂度。

实验结果

研究问题

• RQ1 能否在通信量次线性于维度d的分布式学习中实现最优过失风险？
• RQ2 在高维设置下，为打破线性通信障碍，对模型参数的结构假设需要满足什么条件？
• RQ3 如何设计稀疏化与量化方法，以在放松的范数约束下保持镜像下降的统计精度？
• RQ4 是否可能在ℓ₁有界或稀疏线性模型中，以d的对数通信量实现最优收敛速率？
• RQ5 该框架能否扩展至线性模型之外的一般随机凸优化问题？

主要发现

• 对于ℓ₁有界或稀疏线性模型，任何算法都无法在次线性通信下实现最优误差——通信量线性于d是必需的。
• 通过将有界性假设放宽至p ≤ 2的Schatten-p范数，可在通信量对数于d的条件下实现最优过失风险。
• 所提算法实现的过失风险为O(√(B₁²R_q²C_q / N))，通信复杂度为O(log d)，与集中式ERM速率匹配。
• 分析表明，稀疏化引入的期望Bregman散度误差以O(B² / s^{(p-1)/2})的速率衰减，其中s ≈ log d。
• 该方法可扩展至使用适当正则化项和稀疏化方案的一般随机凸优化问题。
• 实验结果表明，该算法在显著降低通信量的同时，保持了与全通信基线相当的统计性能。