[论文解读] DAve-QN: A Distributed Averaged Quasi-Newton Method with Local Superlinear Convergence Rate

Saeed Soori, Konstantin Mischenko+3 more|arXiv (Cornell University)|Jun 3, 2019

Stochastic Gradient Optimization Techniques参考文献 46被引用 14

一句话总结

该论文提出了DAve-QN，这是首个在主从架构下针对经验风险最小化问题的分布式异步拟牛顿算法，具备超线性收敛特性。通过利用梯度平均实现局部Hessian近似，并采用通信高效的$O(p)$向量交换，该方法在大延迟条件下无需使用小步长即可实现超线性收敛，在实验中优于当前最先进方法。

ABSTRACT

In this paper, we consider distributed algorithms for solving the empirical risk minimization problem under the master/worker communication model. We develop a distributed asynchronous quasi-Newton algorithm that can achieve superlinear convergence. To our knowledge, this is the first distributed asynchronous algorithm with superlinear convergence guarantees. Our algorithm is communication-efficient in the sense that at every iteration the master node and workers communicate vectors of size $O(p)$, where $p$ is the dimension of the decision variable. The proposed method is based on a distributed asynchronous averaging scheme of decision vectors and gradients in a way to effectively capture the local Hessian information of the objective function. Our convergence theory supports asynchronous computations subject to both bounded delays and unbounded delays with a bounded time-average. Unlike in the majority of asynchronous optimization literature, we do not require choosing smaller stepsize when delays are huge. We provide numerical experiments that match our theoretical results and showcase significant improvement comparing to state-of-the-art distributed algorithms.

研究动机与目标

• 开发一种适用于主从架构下的大规模经验风险最小化问题的通信高效分布式优化算法。
• 在分布式异步设置下实现超线性收敛，这在现有文献中较为罕见。
• 在支持有界延迟和无界延迟（但时间平均有界）的情况下，无需在高延迟下减小步长，仍能保持收敛性能。
• 在每轮迭代中保持$O(p)$的通信成本，同时通过梯度平均捕捉局部Hessian信息。
• 在数值实验中展示相对于当前最先进分布式算法的显著性能提升。

提出的方法

• 该算法采用一种分布式异步平均机制，将工作节点与主节点之间的决策向量和梯度进行聚合。
• 通过梯度差分近似每个工作节点目标函数的局部Hessian信息，从而实现拟牛顿更新。
• 主节点维护一个全局迭代点，并基于聚合的梯度差和变量差，使用类似BFGS的更新规则进行更新。
• 通信仅涉及每轮迭代传输$O(p)$大小的向量，确保通信效率。
• 该方法支持有界延迟和无界延迟（但时间平均有界）的情况，且无需调整步长。
• 采用线搜索技术调节初始步长，以提升早期阶段的迭代复杂度性能。

实验结果

研究问题

• RQ1 能否在分布式异步拟牛顿方法中实现经验风险最小化问题的超线性收敛？
• RQ2 在无界延迟但时间平均有界的情况下，是否可能在不减小步长的前提下保持超线性收敛？
• RQ3 在实现超线性收敛的同时，能否保持通信效率（每轮迭代$O(p)$）？
• RQ4 与DANE和DAve-RPG等一阶方法相比，该算法在收敛速度和通信成本方面表现如何？
• RQ5 局部样本量$m_i$对收敛性和通信复杂度有何影响？

主要发现

• DAve-QN首次在分布式异步设置下实现了超线性收敛，优于线性收敛的一阶方法。
• 该算法在有界延迟和无界延迟（但时间平均有界）下均保持超线性收敛，且在高延迟下无需减小步长。
• 数值实验表明，除cifar10数据集外，DAve-QN在所有数据集上均显著优于DANE和DAve-RPG；在cifar10上，尽管初始进展更快，但因每轮计算成本较高，整体速度被拖慢。
• 在mnist8m和epsilon数据集上，DAve-QN的收敛速度优于DANE和DAve-RPG，验证了其理论上的超线性收敛速率。
• 该方法每轮迭代的计算成本为$O(p^2)$，但因收敛更快，尤其在病态条件问题中优势明显。
• 代码已公开在GitHub上，便于复现和进一步基准测试。