[論文レビュー] Distributed Convex Optimization with Inequality Constraints over Time-varying Unbalanced Digraphs

Pei Xie, Keyou You+3 more|arXiv (Cornell University)|Dec 29, 2016

Cooperative Communication and Network Coding被引用数 3

ひとこと要約

本稿では、時間変動する非平衡有向グラフ上で不等式制約付きの凸最適化問題を解くための新規分散型アルゴリズムを提案する。非平衡性の影響を排除するためにエピグラフ変換を用い、分散型勾配降下法と確率的固定射影法を組み合わせ、一様な合同強い連結性のもとで、ほぼ確実に共通の最適解に収束することを証明する。

ABSTRACT

This paper considers a distributed convex optimization problem with inequality constraints over time-varying unbalanced digraphs, where the cost function is a sum of local objectives, and each node of the graph only knows its local objective and inequality constraints. Although there is a vast literature on distributed optimization, most of them require the graph to be balanced, which is quite restrictive and not necessary. Very recently, the unbalanced problem has been resolved only for either time-invariant graphs or unconstrained optimization. This work addresses the unbalancedness by focusing on an epigraph form of the constrained optimization. A striking feature is that this novel idea can be easily used to study time-varying unbalanced digraphs. Under local communications, a simple iterative algorithm is then designed for each node. We prove that if the graph is uniformly jointly strongly connected, each node asymptotically converges to some common optimal solution.

研究の動機と目的

• 現実のネットワークで一般的に見られる時間変動する非平衡有向グラフ上で制約付き最適化を扱う分散型アルゴリズムの不足を解消すること。
• 既存手法が平衡グラフを仮定するか、時間変動するトポロジに適用不能であるという制限を克服すること。
• グローバルなネットワーク知識や平衡通信行列を必要とせず、共通の最適解への収束を保証する、シンプルでスケーラブルなアルゴリズムの設計。
• 時間変動するグラフに向けた確率的固定射影アルゴリズムを拡張し、妥当性と収束性を維持すること。

提案手法

• 制約付き最適化問題をエピグラフ形式に再定式化することで、目的関数を線形化し、局所的目的関数を分離し、非平衡有向グラフの取り扱いを容易にする。
• 2段階の反復アルゴリズムを採用：まず、エピグラフ形式に対して分散型勾配降下法を適用し、類似した合意状態に到達させる。次に、各ノードの状態をその局所的制約集合へ射影するため、ポリャクの確率的射影法の分散版を用いる。
• 一時的性能を向上させ、収束を加速するために、固定方向への追加射影を導入する。
• 非平衡有向グラフ上の通信をモデル化するため、時間変動する行確率的重み行列を採用し、平均状態の合意を保証する。
• 確率的解析とリャプノフ型議論を用いて収束を証明し、グラフ系列の一様な合同強い連結性を活用する。
• 重み行列を通じてプッシュサム手法を暗黙的に採用し、非平衡有向グラフであっても情報交換のバランスを維持する。

実験結果

リサーチクエスチョン

• RQ1 時間変動する非平衡有向グラフ上で、平衡通信行列を必要とせずに不等式制約付き分散型凸最適化を解くことは可能か？
• RQ2 分散型最適化フレームワークにおいて、有向グラフの非平衡性を効果的に管理する方法は何か？
• RQ3 エピグラフ変換を用いることで、局所的目的関数を統一し、制約付き問題のための分散型アルゴリズム設計を簡素化できるか？
• RQ4 時間変動するグラフトポロジに課されるどのような条件が、分散型アルゴリズムが共通の最適解に収束することを保証するか？
• RQ5 計算複雑性を増加させることなく、収束速度と一時的挙動をどのように改善できるか？

主な発見

• 時間変動する有向グラフの一様な合同強い連結性の仮定のもとで、すべてのノードが共通の最適解にほぼ確実に収束することを保証する。
• エピグラフ変換により、非平衡通信重みの影響が効果的に排除され、問題が線形目的関数形式に変換された。
• 確率的リャプノフ解析を用いて反復の収束を証明し、最適解までの期待二乗距離がほぼ確実に収束することを示した。
• 分散型確率的固定射影ステップにより、反復の妥当性が維持され、各ノードの状態がその局所的制約集合内に保たれる。
• 固定方向への追加射影により一時的挙動が向上し、最終解を変えることなく収束を加速した。
• アルゴリズムはスケーラブルであり、ネットワークのグローバルな知識を必要としないため、動的トポロジを持つ大規模分散システムに適している。