[论文解读] Communication-Efficient Distributed Optimization with Quantized Preconditioners

Foivos Alimisis, Peter Maxwell Davies+1 more|arXiv (Cornell University)|Feb 14, 2021

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

该论文提出了一种基于量化预条件矩阵的通信高效分布式优化算法，适用于广义线性模型（QPGD-GLM）和一种分布式牛顿法（QNewton），实现了对条件数 𝜅 的次线性依赖。通过联合量化预条件矩阵和下降方向，同时保持收敛性，该方法将通信复杂度分别降低至 𝒪(ndκₗ log(nκₗκ(M)) log(γD/𝜖)) 和 𝒪(nd² log(√d𝜅) log(γ𝜇/𝜎𝜖))，打破了以往对 𝜅 的线性依赖。

ABSTRACT

We investigate fast and communication-efficient algorithms for the classic problem of minimizing a sum of strongly convex and smooth functions that are distributed among $n$ different nodes, which can communicate using a limited number of bits. Most previous communication-efficient approaches for this problem are limited to first-order optimization, and therefore have \\emph{linear} dependence on the condition number in their communication complexity. We show that this dependence is not inherent: communication-efficient methods can in fact have sublinear dependence on the condition number. For this, we design and analyze the first communication-efficient distributed variants of preconditioned gradient descent for Generalized Linear Models, and for Newton's method. Our results rely on a new technique for quantizing both the preconditioner and the descent direction at each step of the algorithms, while controlling their convergence rate. We also validate our findings experimentally, showing fast convergence and reduced communication.

研究动机与目标

• 解决大规模机器学习中在有限比特通信下的分布式优化通信效率问题。
• 通过利用二阶信息，克服现有的一阶方法中对条件数 𝜅 的线性依赖。
• 设计预条件梯度下降和牛顿法的通信高效变体，在量化条件下保持快速收敛。
• 提出一种新型量化技术，联合控制预条件矩阵和下降方向的量化，以保持收敛速率。
• 理论上和实验上证明，通信复杂度可实现对条件数 𝜅 的次线性依赖，挑战了以往的假设。

提出的方法

• 提出 QPGD-GLM，一种针对广义线性模型的通信高效预条件梯度下降变体，采用量化预条件矩阵和下降方向。
• 引入一种联合量化方案，同时对预条件矩阵和搜索方向进行量化，确保迭代过程中误差增长受控。
• 通过利用光滑性和强凸性参数，分析量化条件下的收敛性，对预条件矩阵和梯度估计的误差进行有界控制。
• 设计一种分布式牛顿法（QNewton），对局部 Hessian 矩阵及其平均值进行量化，实现低通信量的二阶优化。
• 采用参数服务器模型，各节点将量化后的更新发送给中心协调器，以最小化总比特传输量。
• 通过分析每轮迭代中预条件矩阵、Hessian 矩阵和下降方向的量化与传输所需比特数，建立通信复杂度的上界。

实验结果

研究问题

• RQ1 在分布式设置中，二阶方法能否实现对条件数 𝜅 的次线性依赖的通信效率？
• RQ2 能否在不降低收敛速率的前提下，同时对预条件矩阵和下降方向进行量化？
• RQ3 在比特约束下，使用预条件或牛顿步长进行分布式优化时，最优通信复杂度是多少？
• RQ4 能否通过结合二阶信息与量化，达到或超越理论下界 Ω(nd log(d/𝜖))？
• RQ5 在通信受限的病态问题中，量化预条件是否能实现比一阶方法更快的收敛速度？

主要发现

• 所提出的 QPGD-GLM 算法总通信成本为 𝒪(ndκₗ log(nκₗκ(M)) log(γD/𝜖))，对条件数 𝜅 的依赖为次线性。
• 分布式牛顿法（QNewton）的通信成本为 𝒪(nd² log(√d𝜅) log(γ𝜇/𝜎𝜖))，表明二阶方法可实现通信高效。
• QPGD-GLM 的通信复杂度依赖于损失函数 ℓ 的条件数 𝜅ₗ，其通常远小于整体问题的条件数 𝜅。
• 对于病态但低维的问题，QNewton 通过利用二阶曲率信息，显著降低通信成本，展现出有利的权衡。
• 结果表明，通信复杂度对条件数 𝜅 的线性依赖并非固有属性，挑战了以往认为一阶方法在比特约束下最优的假设。
• 实验验证表明算法收敛迅速且通信量减少，支持了理论分析中关于效率提升的结论。