[论文解读] Accelerated Dual Descent for Network Optimization

Michael Zargham, Alejandro Ribeiro+2 more|arXiv (Cornell University)|Apr 6, 2011

Sparse and Compressive Sensing Techniques参考文献 12被引用 29

一句话总结

该论文提出加速对偶下降（Accelerated Dual Descent, ADD），一种用于网络流问题的分布式优化算法族，通过使用Hessian逆矩阵的泰勒展开对牛顿步长进行局部近似，实现超线性收敛。该方法通过参数N在通信成本与精度之间进行权衡，数值实验表明，ADD-1和ADD-2的收敛速度比次梯度下降快达两个数量级，比基于一致性（consensus-based）的牛顿方法快一个数量级。

ABSTRACT

Dual descent methods are commonly used to solve network optimization problems because their implementation can be distributed through the network. However, their convergence rates are typically very slow. This paper introduces a family of dual descent algorithms that use approximate Newton directions to accelerate the convergence rate of conventional dual descent. These approximate directions can be computed using local information exchanges thereby retaining the benefits of distributed implementations. The approximate Newton directions are obtained through matrix splitting techniques and sparse Taylor approximations of the inverse Hessian.We show that, similarly to conventional Newton methods, the proposed algorithm exhibits superlinear convergence within a neighborhood of the optimal value. Numerical analysis corroborates that convergence times are between one to two orders of magnitude faster than existing distributed optimization methods. A connection with recent developments that use consensus iterations to compute approximate Newton directions is also presented.

研究动机与目标

• 解决传统对偶下降方法在分布式网络优化中收敛缓慢的问题。
• 在无需全局信息的情况下实现在分布式环境中的二阶优化。
• 开发一种可扩展、通信高效的算法，通过牛顿步长的局部近似保持超线性收敛。
• 建立分布式Hessian逆矩阵近似中精度与通信成本之间的权衡关系。
• 证明所提方法在收敛速度和通信效率方面优于现有分布式方法。

提出的方法

• 该方法使用Hessian逆矩阵的泰勒级数展开，仅通过局部信息交换来近似牛顿方向。
• 近似阶数N决定了计算近似牛顿步长所需的邻域深度（N跳），从而实现精度与通信成本之间的权衡。
• 采用矩阵分裂技术将Hessian逆近似分解，实现牛顿方向步长的分布式计算。
• 引入回溯线搜索以确保尽管使用了近似牛顿方向，仍能保证全局收敛。
• 该算法源自对偶下降，通过本地变量和邻居信息进行更新，保持完全的可分布式性。
• 该方法在特定条件下与基于一致性的牛顿方法等价，统一了两种近期方法。

实验结果

研究问题

• RQ1 能否在无全局信息的前提下，有效将二阶优化应用于分布式网络环境？
• RQ2 如何仅通过局部信息交换计算近似牛顿方向？
• RQ3 在分布式牛顿型方法中，近似精度（通过N表示）与通信成本之间存在何种权衡？
• RQ4 使用近似牛顿步长是否能保持分布式优化中的超线性收敛？
• RQ5 与次梯度下降法和基于一致性的牛顿方法相比，所提方法在收敛速度和通信成本方面表现如何？

主要发现

• 在迭代次数方面，ADD-1和ADD-2的收敛速度比传统次梯度下降快达两个数量级。
• 在总通信实例数方面，ADD-1和ADD-2比基于一致性的牛顿方法快约一个数量级。
• ADD-2所需的总通信次数少于ADD-3，表明近似阶数与通信成本之间存在非单调的权衡关系。
• 该方法表现出局部超线性收敛，其收敛行为与集中式牛顿方法一致。
• ADD在不同随机网络拓扑下均表现出一致性能，最小、平均和最大通信成本之间的方差极小。
• 随着网络规模增大，ADD与竞争方法之间的性能差距进一步扩大，表明其具有显著的可扩展优势。