[论文解读] Distributed Second Order Methods with Fast Rates and Compressed Communication

Rustem Islamov, Xun Qian+1 more|arXiv (Cornell University)|Feb 14, 2021

Stochastic Gradient Optimization Techniques参考文献 51被引用 11

一句话总结

该论文提出了 NEWTON-STAR、NEWTON-LEARN 和 CUBIC-NEWTON-LEARN——三种通信高效的分布式二阶优化方法，可在压缩通信下实现快速的局部收敛。通过使用随机稀疏化学习海森矩阵参数，并结合立方正则化实现全局收敛，这些方法在保持牛顿法二次收敛速度的同时，相比最先进方法将通信成本降低了多个数量级。

ABSTRACT

We develop several new communication-efficient second-order methods for distributed optimization. Our first method, NEWTON-STAR, is a variant of Newton's method from which it inherits its fast local quadratic rate. However, unlike Newton's method, NEWTON-STAR enjoys the same per iteration communication cost as gradient descent. While this method is impractical as it relies on the use of certain unknown parameters characterizing the Hessian of the objective function at the optimum, it serves as the starting point which enables us design practical variants thereof with strong theoretical guarantees. In particular, we design a stochastic sparsification strategy for learning the unknown parameters in an iterative fashion in a communication efficient manner. Applying this strategy to NEWTON-STAR leads to our next method, NEWTON-LEARN, for which we prove local linear and superlinear rates independent of the condition number. When applicable, this method can have dramatically superior convergence behavior when compared to state-of-the-art methods. Finally, we develop a globalization strategy using cubic regularization which leads to our next method, CUBIC-NEWTON-LEARN, for which we prove global sublinear and linear convergence rates, and a fast superlinear rate. Our results are supported with experimental results on real datasets, and show several orders of magnitude improvement on baseline and state-of-the-art methods in terms of communication complexity.

研究动机与目标

• 通过设计通信开销低的二阶方法，解决分布式机器学习中的通信瓶颈问题。
• 在保持牛顿法快速收敛速度的同时，克服传统牛顿法每轮通信成本高的问题。
• 在分布式环境下高效学习海森矩阵信息，开发实用且全局收敛的牛顿型方法变体。
• 通过自适应海森矩阵学习与压缩，实现与条件数无关的快速局部收敛。
• 通过立方正则化确保全局收敛，从而在不同问题条件下实现稳健性能。

提出的方法

• 提出 NEWTON-STAR，一种基于单个海森矩阵近似的牛顿型方法，以梯度下降级别的通信成本实现二次收敛。
• 引入一种随机稀疏化策略，在通信高效的前提下迭代学习未知的海森矩阵参数，从而得到 NEWTON-LEARN。
• 设计 NL1 和 NL2 变体，分别在 λ > 0 和 λ ≥ 0 的假设下学习海森系数，实现快速局部收敛。
• 将立方正则化应用于 NEWTON-LEARN，构建 CUBIC-NEWTON-LEARN（CNL），确保全局收敛，并实现次线性、线性和超线性收敛速率。
• 采用压缩算子（如随机稀疏化、量化和自然压缩）降低通信带宽，同时不牺牲收敛速度。
• 理论分析证明：NEWTON-LEARN 具有局部线性和超线性收敛性，CNL 具有全局次线性和线性收敛性，在有利条件下可实现超线性收敛速率。

实验结果

研究问题

• RQ1 能否设计一种分布式二阶方法，在保持类似一阶方法的通信效率的同时，实现类牛顿法的快速收敛？
• RQ2 在分布式环境下，如何以低通信成本迭代学习并压缩海森矩阵信息？
• RQ3 对于使用立方正则化的通信高效二阶方法，可建立何种全局收敛保证？
• RQ4 在不同数据集和压缩方案下，所提方法在通信复杂度方面与最先进的一阶和二阶方法相比如何？
• RQ5 该方法的性能在多大程度上依赖于条件数或正则化参数？

主要发现

• NEWTON-LEARN 实现了与条件数无关的局部超线性收敛，其通信复杂度显著优于 BFGS 和 ADIANA 等方法。
• NL1 和 NL2 相较于牛顿法，将通信成本降低了多个数量级，尤其在低秩压缩（如 r = d/4）时表现更优。
• CUBIC-NEWTON-LEARN 实现了全局次线性和线性收敛，在有利条件下可达到超线性收敛速率，当正则化参数较小时，优于 DIANA 和 DCGD。
• 在 phishing、a9a 和 w8a 等真实数据集上，NL1 和 NL2 在所有压缩类型下均持续优于 ADIANA 和 DINGO，通信效率常高出多个数量级。
• 当正则化参数较小（λ = 10⁻⁴, 10⁻⁵）时，CNL 凭借对高条件数的鲁棒性，显著优于 DIANA 和 DCGD 等一阶方法。
• 实验结果证实，通信复杂度是性能的主要瓶颈，而所提方法在收敛速度与通信成本之间实现了优越的权衡。