[论文解读] A distributed primal-dual interior-point method for loosely coupled problems using ADMM

Mariette Annergren, Sina Khoshfetrat Pakazad+2 more|arXiv (Cornell University)|Jun 9, 2014

Advanced Optimization Algorithms Research参考文献 49被引用 9

一句话总结

该论文提出了一种分布式原始-对偶内点法，通过集成ADMM计算搜索方向，用于求解松散耦合的凸优化问题。该方法通过实现闭式更新和可并行化的方向计算，实现了更优的收敛性能和更低的单个代理计算负载，在数值实验中相比标准ADMM减少最多55%的迭代次数。

ABSTRACT

In this paper we propose an efficient distributed algorithm for solving loosely coupled convex optimization problems. The algorithm is based on a primal-dual interior-point method in which we use the alternating direction method of multipliers (ADMM) to compute the primal-dual directions at each iteration of the method. This enables us to join the exceptional convergence properties of primal-dual interior-point methods with the remarkable parallelizability of ADMM. The resulting algorithm has superior computational properties with respect to ADMM directly applied to our problem. The amount of computations that needs to be conducted by each computing agent is far less. In particular, the updates for all variables can be expressed in closed form, irrespective of the type of optimization problem. The most expensive computational burden of the algorithm occur in the updates of the primal variables and can be precomputed in each iteration of the interior-point method. We verify and compare our method to ADMM in numerical experiments.

研究动机与目标

• 为解决标准ADMM在求解松散耦合凸优化问题时的局限性，特别是其收敛缓慢和迭代次数过多的问题。
• 将原始-对偶内点法的快速局部收敛特性与ADMM的分布式、可并行化结构相结合。
• 通过为所有变量实现闭式更新，独立于问题类型，降低单个代理的计算负担。
• 开发一种可扩展的分布式算法，保持线性系统求解中原始问题的耦合结构。
• 提供理论收敛保证，并通过实验验证与标准ADMM的对比性能。

提出的方法

• 该算法采用原始-对偶内点框架，其中搜索方向通过ADMM计算，而非直接求解完整的KKT系统。
• 将ADMM应用于内点子问题的KKT系统，将其分解为每个代理的局部子问题。
• 所有变量更新（原始、对偶和松弛变量）均以闭式表达，实现高效的本地计算。
• 计算最密集的步骤——原始变量更新——在每次内点迭代中预先计算，从而降低在线计算负载。
• 在ADMM的内迭代中采用自适应精度控制，当外层内点迭代远离最优解时减少不必要的计算。
• 该算法在求解线性系统时保持了原始问题的松散耦合结构，从而实现高效的分布式求解。

实验结果

研究问题

• RQ1 能否有效将ADMM集成到原始-对偶内点框架中，以提升松散耦合问题的收敛性和可扩展性？
• RQ2 与标准ADMM相比，所提方法是否能减少迭代次数和单个代理的计算负载？
• RQ3 是否能为ADMM子问题中的所有变量实现闭式更新，而不论问题的函数形式如何？
• RQ4 ADMM内迭代中的自适应精度控制如何影响整体收敛速度和效率？
• RQ5 该方法在实现分布式计算的同时，能在多大程度上保持问题的耦合结构？

主要发现

• 在包含10个子问题的蒙特卡洛模拟中，所提方法（算法6）相比标准ADMM减少了55%的迭代次数。
• 在一个包含11个子问题的问题中，算法6仅需5,469次迭代，相比ADMM提升33%，且在对偶残差和对偶间隙方面表现出更优的收敛性。
• 该算法在代理对偶间隙和目标函数误差方面表现出更快的收敛速度，全局对偶间隙的下降速度也显著快于ADMM。
• 所有变量更新均以闭式计算，显著降低了单个代理的计算复杂度。
• ADMM内迭代中的自适应精度策略减少了不必要的计算，尤其在内点迭代的早期阶段效果显著。
• 在既定假设下，该方法保持了对最优解的收敛性，并在多个测试案例中展现出强劲的实证性能。