[論文レビュー] Distributed Primal-dual Interior-point Methods for Solving Loosely Coupled Problems Using Message Passing

Sina Khoshfetrat Pakazad, Anders Hansson+1 more|arXiv (Cornell University)|Feb 23, 2015

Advanced Optimization Algorithms Research参考文献 30被引用数 13

ひとこと要約

本稿では、ハーモニックスパarsityを持つ緩く結合された凸最適化問題を解くための分散型プライマル・デュアル内点法を提案する。メッセージパッシングを用いて計算をエージェント間で分散化する。既存の手法と比較して、はるかに少ない反復回数で高精度の解を得ることができ、反復回数の収束上限は問題の結合構造にのみ依存する。

ABSTRACT

In this paper, we propose a distributed algorithm for solving loosely coupled problems with chordal sparsity which relies on primal-dual interior-point methods. We achieve this by distributing the computations at each iteration, using message-passing. In comparison to already existing distributed algorithms for solving such problems, this algorithm requires far less number of iterations to converge to a solution with high accuracy. Furthermore, it is possible to compute an upper-bound for the number of required iterations which, unlike already existing methods, only depends on the coupling structure in the problem. We illustrate the performance of our proposed method using a set of numerical examples.

研究の動機と目的

• 緩く結合された凸問題に適した分散型最適化アルゴリズムを効率的に開発すること。
• 既存の分散型一次およびプライマル・デュアル手法と比較して、高精度収束に必要な反復回数を削減すること。
• 問題のスケーリングや条件数に依存せず、結合構造にのみ依存する反復回数の理論的上限を提供すること。
• エージェント間で部分問題を分散化することでプライバシー保護を実現しつつ、計算効率を維持すること。
• 内点法フレームワーク内で、クリークツリー構造を用いたメッセージパッシングにより、探索方向を分散かつ正確に計算すること。

提案手法

• 本手法は、ハーモニックスパarsityを持つ緩く結合された問題を解くためにプライマル・デュアル内点法フレームワークを用い、各エージェントごとに局所的サブプロブレムに問題を分解する。
• スパarsity構造のクリークツリー表現を介して、メッセージパッシングプロトコルを用いてニュートン探索方向の計算を分散化する。
• エージェント間でメッセージをやり取りすることで、サブプロブレムの局所的最小値を計算し、各メッセージは変数集合上での目的関数の最小値を符号化する。
• クリーク交差性質を用いて重複する変数集合の整合性を保証し、ツリー構造の制約によりメッセージ領域の不重複性を確保する。
• スパarsityパターンとハーモニック構造を活用して、変数集合上で再帰的に最小化することで、メッセージパッシングプロセスが正確な探索方向を計算する。
• 各エージェントが局所的クリークを維持し、隣接エージェントとのみ通信することで、木構造に基づく分解に依存し、通信オーバーヘッドとプライバシーを低減する。

実験結果

リサーチクエスチョン

• RQ1 緩く結合された問題に適した分散型プライマル・デュアル内点法を、ハーモニックスパarsityとメッセージパッシングを用いて設計可能か？
• RQ2 本手法は、既存の分散型一次またはプロキシマル手法と比較して、高精度解を得るための反復回数を著しく削減できるか？
• RQ3 問題のスケーリングに依存せず、結合構造にのみ依存する反復回数の理論的上限を導出可能か？
• RQ4 内点法の収束特性を保ちつつ、メッセージパッシングを用いて正確な探索方向を分散的に計算可能か？
• RQ5 反復回数と解の精度の観点から、本手法は既存の分散アルゴリズムと比較してどのように性能を発揮するか？

主な発見

• 提案手法は、既存の一次またはプロキシマル手法に依存する分散アルゴリズムと比較して、はるかに少ない反復回数で高精度の解に収束する。
• 問題の結合構造にのみ依存する反復回数の上界が導出された。問題のスケーリングや条件数に依存しない。
• メッセージパッシングプロトコルにより、すべてのエージェントが正確な探索方向を分散的に計算し、内点法の2次収束レートを保持する。
• 各エージェントは隣接エージェントとのみ通信するため、ローカル問題データを露出せず、完全なプライバシーを維持する。
• 数値例により、本手法の優れた収束特性が実証され、特に最小限の反復回数で高精度解を達成できることが示された。
• 理論的分析により、メッセージパッシングプロセスが不重複な変数集合上での目的関数の最小値を正しく計算することが確認され、分散計算の正しさが保証された。