[論文レビュー] A distributed primal-dual interior-point method for loosely coupled problems using ADMM

Mariette Annergren, Sina Khoshfetrat Pakazad+2 more|arXiv (Cornell University)|Jun 9, 2014

Advanced Optimization Algorithms Research参考文献 49被引用数 9

ひとこと要約

本稿では、ADMMを統合して探索方向を計算することにより、緩く結合された凸最適化問題に対する分散型原双対内点法を提案する。本手法は、閉形式の更新と並列化可能な方向計算を可能にすることで、1 agentあたりの計算負荷を低減し、収束性を向上させ、標準ADMMに比べて最大55％少ない反復回数で性能を発揮する。

ABSTRACT

In this paper we propose an efficient distributed algorithm for solving loosely coupled convex optimization problems. The algorithm is based on a primal-dual interior-point method in which we use the alternating direction method of multipliers (ADMM) to compute the primal-dual directions at each iteration of the method. This enables us to join the exceptional convergence properties of primal-dual interior-point methods with the remarkable parallelizability of ADMM. The resulting algorithm has superior computational properties with respect to ADMM directly applied to our problem. The amount of computations that needs to be conducted by each computing agent is far less. In particular, the updates for all variables can be expressed in closed form, irrespective of the type of optimization problem. The most expensive computational burden of the algorithm occur in the updates of the primal variables and can be precomputed in each iteration of the interior-point method. We verify and compare our method to ADMM in numerical experiments.

研究の動機と目的

• 緩く結合された凸最適化問題を解く際の標準ADMMの限界、特に収束が遅く反復回数が多いという点を是正すること。
• 原双対内点法の高速な局所的収束性とADMMの分散可能で並列化可能な構造を統合すること。
• 問題の種別に依存しない、すべての変数に対して閉形式の更新を可能にすることで、1 agentあたりの計算負担を低減すること。
• 問題の結合構造を線形方程式の解法に保ちながら、スケーラブルな分散アルゴリズムを構築すること。
• 理論的な収束保証と標準ADMMとの実験的比較による妥当性の検証を提供すること。

提案手法

• アルゴリズムは、探索方向をKKTシステムを直接解く代わりにADMMによって計算する原双対内点フレームワークを用いる。
• ADMMは内点法の部分問題のKKTシステムに適用され、各エージェントごとの局所的サブプロブレムに分解される。
• すべての変数更新（原変数、双対変数、スラック変数）が閉形式で表現され、効率的な局所的計算が可能になる。
• 計算負荷が最も高いステップである原変数の更新は、内点法の各反復で事前に計算され、オンライン負荷が低減される。
• 外点法の反復が最適解から離れている間は、ADMMの内部反復において適応的精度制御を採用し、無駄な計算を削減する。
• アルゴリズムは元の問題の緩く結合された構造を線形方程式の解法に保ち、効率的な分散解法を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ADMMは、緩く結合された問題に対する収束性とスケーラビリティを向上させる原双対内点フレームワークに効果的に統合可能か？
• RQ2 提案手法は、標準ADMMと比較して反復回数と1エージェントあたりの計算負荷を低減するか？
• RQ3 ADMMのサブプロブレムにおいて、問題の関数形に依存せずにすべての変数に対して閉形式の更新が可能か？
• RQ4 ADMMの内部反復における適応的精度制御は、全体の収束速度と効率性にどのように影響するか？
• RQ5 分散計算を可能にしつつ、問題の結合構造をどの程度保っているか？

主な発見

• モンテカルロシミュレーション（10個のサブプロブレム）において、提案手法（アルゴリズム6）は標準ADMMと比較して反復回数が55％削減された。
• 11個のサブプロブレムを含む問題では、アルゴリズム6は5,469反復を要し、ADMMに比べ33％の改善を示した。また、双対残差と双対ギャップの収束性が優れていた。
• スラスト双対ギャップと目的関数誤差の収束が速く、グローバル双対ギャップの減少がADMMよりも著しく速かった。
• すべての変数更新が閉形式で計算され、1エージェントあたりの計算複雑度が顕著に低減された。
• ADMMの内部反復における適応的精度戦略により、特に内点法の初期段階で不要な計算が削減された。
• 提示された仮定のもとで最適解への収束が維持され、多数のテストケースにおいて強力な実験的性能を示した。