[论文解读] Centralized and Distributed Newton Methods for Network Optimization and Extensions

Dimitri P. Bertsekas|arXiv (Cornell University)|Jul 2, 2015

Advanced Optimization Algorithms Research参考文献 28被引用 4

一句话总结

本文提出了针对单商品与多商品网络流问题的牛顿型方法的集中式与分布式实现，利用共轭梯度法和网络特定操作，高效计算牛顿方向，而无需构造或求逆大型海森矩阵。其主要贡献是一种可扩展的、利用问题结构的方法，实现了大规模网络优化中的快速收敛。

ABSTRACT

We consider Newton methods for common types of single commodity and multi-commodity network flow problems. Despite the potentially very large dimension of the problem, they can be implemented using the conjugate gradient method and low-dimensional network operations, as shown nearly thirty years ago. We revisit these methods, compare them to more recent proposals, and describe how they can be implemented in a distributed computing system. We also discuss generalizations, including the treatment of arc gains, linear side constraints, and related special structures.

研究动机与目标

• 解决在高维变量下将牛顿方法应用于大规模网络流问题时的计算挑战。
• 通过利用网络结构并避免显式构造或求逆海森矩阵，实现牛顿方向的高效计算。
• 通过罚函数或增广拉格朗日方法，将牛顿方法扩展以处理非负性、供需约束及线性附加约束。
• 设计一种分布式计算框架，其中路径和弧的专用处理器通过最少的通信协作计算牛顿方向。
• 将框架推广至包含弧增益、线性依赖关系以及近似对角海森结构的情形，从而扩大其在多样化网络优化问题中的适用性。

提出的方法

• 使用共轭梯度法迭代计算牛顿方向，而无需构造完整的海森矩阵，仅依赖于海森矩阵与向量的乘积。
• 通过遍历路径和弧的网络操作计算海森矩阵与向量的乘积，每轮迭代保持较低的计算复杂度。
• 在具有每条路径和弧专用处理器的分布式系统中实现牛顿方向计算，每轮迭代仅交换少量标量值。
• 应用对角二阶预条件技术以改善收敛性，并便于步长选择，尤其在病态问题中表现更优。
• 通过将弧流量重新定义为路径流量的线性函数，将方法推广至处理路径流量与弧流量之间的线性依赖关系，包括弧增益。
• 通过罚函数或增广拉格朗日函数处理约束，将约束问题转化为无约束或更简单形式，从而适用于相同的计算框架。

实验结果

研究问题

• RQ1 是否可以在不显式构造或求逆完整海森矩阵的情况下，高效地将牛顿方法应用于大规模网络流问题？
• RQ2 如何仅通过低维网络操作和共轭梯度等迭代方法计算牛顿方向？
• RQ3 与标准牛顿法或基于梯度的方法相比，所提方法在大规模网络中的计算复杂度如何？
• RQ4 如何将该算法适配为具有最少处理器间通信的分布式实现？
• RQ5 该框架在多大程度上可推广以包含弧增益、线性附加约束以及非对角海森结构？

主要发现

• 基于共轭梯度的牛顿方向计算具有 O(mT) 的计算复杂度，其中 m 为共轭梯度迭代次数，T 为所有路径遍历的弧总数，远低于直接海森矩阵求逆的 O(P³) 复杂度。
• 通过利用二阶信息，该方法实现快速收敛，通常可采用接近于 1 的常数步长，从而在效率上优于一阶方法。
• 分布式实现是可行的，每条路径和弧的处理器仅需维护和交换少量变量，从而实现可扩展且模块化的计算。
• 通过将弧流量重新定义为路径流量的线性函数，该框架可推广至包含弧增益和线性依赖关系的问题，同时保持高效计算海森矩阵与向量乘积所需的结构。
• 即使海森矩阵为奇异矩阵（例如当 ∇²R = 0 时），该方法仍保持有效性，但此时唯一解的收敛性及收敛速率分析仍为开放问题。
• 对于约束问题，可通过罚函数或增广拉格朗日函数将问题扩展，将其转化为无约束情形，且使用相同的计算框架。