[論文レビュー] A Partition-Based Implementation of the Relaxed ADMM for Distributed Convex Optimization over Lossy Networks

Nicola Bastianello, Todescato, Marco+2 more|arXiv (Cornell University)|Sep 26, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用数 9

ひとこと要約

本稿では、各エージェントの局所的コストが自身および隣接エージェントの状態に依存する、損失のあるネットワークにおける分散凸最適化のためのパーティション型緩和ADMM（R-ADMM）を提案する。非拡大作用素理論および緩和ペースカマン＝ラッハフォード分割を用いた問題の再定式化により、確率的パケット損失（i.i.d.）に対しても収束性とロバスト性を保証し、調整可能な緩和パラメータ α およびペナルティ ρ を通じて収束速度を向上させる。

ABSTRACT

In this paper we propose a distributed implementation of the relaxed Alternating Direction Method of Multipliers algorithm (R-ADMM) for optimization of a separable convex cost function, whose terms are stored by a set of interacting agents, one for each agent. Specifically the local cost stored by each node is in general a function of both the state of the node and the states of its neighbors, a framework that we refer to as `partition-based' optimization. This framework presents a great flexibility and can be adapted to a large number of different applications. We show that the partition-based R-ADMM algorithm we introduce is linked to the relaxed Peaceman-Rachford Splitting (R-PRS) operator which, historically, has been introduced in the literature to find the zeros of sum of functions. Interestingly, making use of non expansive operator theory, the proposed algorithm is shown to be provably robust against random packet losses that might occur in the communication between neighboring nodes. Finally, the effectiveness of the proposed algorithm is confirmed by a set of compelling numerical simulations run over random geometric graphs subject to i.i.d. random packet losses.

研究の動機と目的

• IoT やスマートグリッドのような大規模で信頼性の低いネットワークにおける分散凸最適化の課題に対処すること。
• 通信障害（パケット損失）が発生しても収束性とロバスト性を維持する分散アルゴリズムの開発。
• 各エージェントのコストが自身および隣接状態に依存する柔軟な最適化フレームワークの構築—「パーティション型最適化」として特徴づける。
• R-ADMM の特化された再定式化を活用し、メモリおよび通信効率を高める。
• 非拡大作用素理論を用いて、確率的パケット損失下でもアルゴリズムの理論的ロバスト性を証明すること。

提案手法

• 補助変数と一貫性制約を導入することで、パーティション型最適化問題を緩和ADMMに適した形に再定式化する。
• 双対問題に緩和ペースカマン＝ラッハフォード分割（R-PRS）作用素を適用し、非拡大作用素理論を通じてR-ADMMと関連付ける。
• 各ノードが隣接ノードとのみ通信する分散実装を導出することで、メモリおよび通信のオーバーヘッドを最小限に抑える。
• 収束速度を向上させるために、緩和パラメータ α ∈ (0,1) を導入し、α = 0.5 の場合に古典的ADMMに還元される。
• 収束速度と安定性を制御するためのペナルティパラメータ ρ > 0 を用い、損失のある通信下でも理論的保証を提供する。
• 確率的作用素理論を活用し、i.i.d. パケット損失下でも収束が保たれることを形式的に証明する。

実験結果

リサーチクエスチョン

• RQ1 通信リンクにおける確率的i.i.d. パケット損失が発生しても、分散ADMMベースのアルゴリズムが収束を維持できるか？
• RQ2 緩和パラメータ α が損失のあるネットワーク環境下で収束速度と安定性に与える影響は何か？
• RQ3 通信障害が発生する状況下で、ペナルティパラメータ ρ が収束速度とロバスト性に与える影響は何か？
• RQ4 パーティション型最適化フレームワークは、通信およびメモリ使用量を最小限に抑える分散実装が可能か？
• RQ5 元のADMMが収束しない状況下でも、R-ADMMが信頼性の低い通信下で収束を保証する理論的根拠はあるか？

主な発見

• 提案されたパーティション型R-ADMMは、i.i.d. 確率的パケット損失に対して理論的にロバストであり、信頼できる通信と比較して収束領域が変化しない。
• ランダム幾何グラフを用いた数値シミュレーションにより、パケット損失確率が 0.4 まででも収束が確認され、収束領域の劣化は認められない。
• 緩和パラメータ α > 0.5（例：α = 0.75）は、古典的ADMM（α = 0.5）よりも高速に収束するが、安定領域 0 < α < 1 の範囲内で有効である。
• ペナルティパラメータ ρ を調整することで収束速度を向上でき、シミュレーションでは ρ の値が高くなるほど誤差の減衰が速くなる。
• パーティショニング構造を活用することで、単純なR-ADMM実装よりも通信およびメモリ要件を低減できる。
• 非拡大作用素理論を用いた理論的解析により、すべての α ∈ (0,1) および ρ > 0 に対して収束性が保証され、確率的通信障害下でも成立する。