[论文解读] A Stochastic Newton Algorithm for Distributed Convex Optimization

Brian Bullins, Kumar Kshitij Patel+3 more|arXiv (Cornell University)|Oct 7, 2021

Stochastic Gradient Optimization Techniques参考文献 44被引用 4

一句话总结

该论文提出 FedSN，一种用于分布式凸优化的随机牛顿算法，通过利用随机海森向量积和梯度来减少通信轮数。通过一次性平均二次逼近求解牛顿步，该方法在通信轮数更少的情况下实现比一阶方法更快的收敛速度，且对拟自共形目标（如逻辑回归）提供了理论保证。

ABSTRACT

We propose and analyze a stochastic Newton algorithm for homogeneous distributed stochastic convex optimization, where each machine can calculate stochastic gradients of the same population objective, as well as stochastic Hessian-vector products (products of an independent unbiased estimator of the Hessian of the population objective with arbitrary vectors), with many such stochastic computations performed between rounds of communication. We show that our method can reduce the number, and frequency, of required communication rounds compared to existing methods without hurting performance, by proving convergence guarantees for quasi-self-concordant objectives (e.g., logistic regression), alongside empirical evidence.

研究动机与目标

• 解决大规模机器学习（含数百万参数）中高通信频率的挑战。
• 在不牺牲收敛性能的前提下，减少分布式随机优化中的通信轮数。
• 利用二阶信息（海森向量积）加速收敛，超越一阶方法（如 Local SGD）。
• 设计一种实用算法，在避免完整海森矩阵计算的同时保持计算效率，实现可扩展的分布式优化。
• 在间歇通信模型下，为拟自共形目标（如逻辑回归）提供理论收敛保证。

提出的方法

• 提出联邦随机牛顿（FedSN），一种分布式算法，通过一次性平均二次子问题的解来近似牛顿步。
• 将牛顿步重新表述为最小化一个凸二次函数：$\min_{\Delta x} \frac{1}{2}\Delta x^{\top}\nabla^{2}F(x)\Delta x + \nabla F(x)^{\top}\Delta x$，并通过分布式平均求解。
• 使用随机梯度预言机和随机海森向量积预言机作为输入，两者对广义线性模型均计算高效。
• 允许每台机器在每次通信前执行 $K$ 次独立的随机计算，从而降低通信频率。
• 应用一次性平均在单轮通信内求解二次子问题，避免在子问题求解过程中进行迭代通信。
• 通过利用逻辑回归中海森向量积为秩一操作的特性，实现计算效率，每样本可在 $\mathcal{O}(d)$ 时间内完成。

实验结果

研究问题

• RQ1 在分布式、随机设置下，能否高效利用二阶信息以减少通信轮数？
• RQ2 在间歇通信模型下，使用随机海森向量积是否能比一阶方法实现更快的收敛速度？
• RQ3 能否通过一次性平均有效近似牛顿步，且不带来过高计算成本？
• RQ4 FedSN 的收敛速率与 Local SGD 和 FedAc 相比，在拟自共形目标下如何？
• RQ5 在实践中，海森向量积预言机的计算开销与随机梯度相比如何？

主要发现

• FedSN 实现了优化误差的指数衰减，收敛速率为 $\frac{HB^2}{KR} + \frac{\sigma B}{\sqrt{MK}} + \frac{\rho B^2}{\sqrt{K}R}$，其中 $H$、$\sigma$ 和 $\rho$ 分别为光滑性、梯度方差和海森向量积方差。
• 实验结果表明，与 Local SGD 和 FedAc 相比，FedSN 在达到给定精度所需通信轮数上显著减少，尤其在低通信场景下表现更优。
• 对于逻辑回归，海森向量积的计算成本在渐近意义上与随机梯度相近，支持高效实现。
• 运行时间测量显示，FedSN-Lite 仅比 Local SGD 略慢（每步 6.67×10⁻⁵ 秒 vs. 6.39×10⁻⁵ 秒），开销可忽略。
• 即使仅进行一轮通信，该算法仍能保持高精度，证明了一次性平均在牛顿步近似中的有效性。
• 在 $M$ 台机器和 $R$ 次通信轮数的间歇通信模型下，为拟自共形目标（包括逻辑回归）建立了理论保证。