[论文解读] Distributed Adaptive Newton Methods with Globally Superlinear Convergence

Jiaqi Zhang, Keyou You+1 more|arXiv (Cornell University)|Feb 18, 2020

Sparse and Compressive Sensing Techniques参考文献 48被引用 11

一句话总结

本文提出分布式自适应牛顿法（DAN）及其通信高效变体DAN-LA，用于网络上的分布式优化。通过将有限时间集一致性方法与Polyak的自适应牛顿方法相结合，并采用低秩Hessian近似，DAN和DAN-LA分别实现了全局超线性与二次收敛速率，同时每轮迭代的消息大小降低至O(p)——在通信成本上与一阶方法相当，但在收敛速度上显著超越它们。

ABSTRACT

This paper considers the distributed optimization problem over a network where the global objective is to optimize a sum of local functions using only local computation and communication. Since the existing algorithms either adopt a linear consensus mechanism, which converges at best linearly, or assume that each node starts sufficiently close to an optimal solution, they cannot achieve globally superlinear convergence. To break through the linear consensus rate, we propose a finite-time set-consensus method, and then incorporate it into Polyak's adaptive Newton method, leading to our distributed adaptive Newton algorithm (DAN). To avoid transmitting local Hessians, we adopt a low-rank approximation idea to compress the Hessian and design a communication-efficient DAN-LA. Then, the size of transmitted messages in DAN-LA is reduced to $O(p)$ per iteration, where $p$ is the dimension of decision vectors and is the same as the first-order methods. We show that DAN and DAN-LA can globally achieve quadratic and superlinear convergence rates, respectively. Numerical experiments on logistic regression problems are finally conducted to show the advantages over existing methods.

研究动机与目标

• 克服现有依赖线性一致性机制的分布式算法所受线性收敛速率的限制。
• 在无需初始值靠近最优解的情况下，实现在分布式优化中的全局超线性收敛。
• 在保持快速收敛速率的同时，降低Hessian矩阵传输的通信开销。
• 设计适用于大规模分布式系统的通信高效型自适应牛顿方法变体。

提出的方法

• 提出一种有限时间集一致性方法，以替代传统线性一致性机制，从而加快节点间的一致性达成。
• 将有限时间集一致性方法与Polyak的自适应牛顿方法结合，形成分布式自适应牛顿（DAN）算法。
• 应用低秩近似对局部Hessian矩阵进行压缩，将每轮迭代的通信成本降低至O(p)。
• 设计DAN-LA，即DAN的通信高效版本，其在保持超线性收敛的同时，消息大小最小化。
• 基于局部函数值与Hessian近似自适应调整步长，以加速收敛。
• 通过在网络中保持函数值与Hessian近似的一致性，确保全局收敛。

实验结果

研究问题

• RQ1 是否存在一种分布式优化算法，可在无需初始值靠近最优解的情况下实现全局超线性收敛？
• RQ2 有限时间集一致性机制是否可替代线性一致性机制，从而打破分布式牛顿方法中的线性收敛瓶颈？
• RQ3 是否可能将Hessian信息压缩至每轮迭代O(p)的大小，而不会牺牲收敛速度？
• RQ4 所提方法在收敛速率与通信成本方面，相较于一阶方法及现有二阶分布式方法表现如何？

主要发现

• DAN实现全局二次收敛，显著优于线性收敛的一阶与二阶方法。
• DAN-LA在每轮迭代消息大小降低至O(p)的同时，实现全局超线性收敛，通信成本与一阶方法相当。
• 有限时间集一致性机制相比传统线性一致性机制，能更快实现节点间的一致性，从而加速收敛。
• 在逻辑回归上的数值实验表明，DAN与DAN-LA在早期迭代中收敛速度显著快于现有分布式方法。
• 低秩Hessian近似在保持收敛速度的同时，大幅降低通信开销，使该方法具备良好的可扩展性。