[論文レビュー] Improved Convergence Rates for Distributed Resource Allocation

Angelia Nedić, Alex Olshevsky+1 more|arXiv (Cornell University)|Jun 16, 2017

Distributed Control Multi-Agent Systems参考文献 24被引用数 28

ひとこと要約

本稿では、共感最適化への接続を活用して、ネットワーク内のエージェント群における凸リソース割り当てのための新しいクラスの分散アルゴリズムを提案する。プライマルデュアルフレームワークを用い、適切に調整されたステップサイズとネットワークに適応したパrameterチューニングにより、一般の凸関数に対しては o(1/k) の収束速度、強い凸性かつ滑らかさを満たす目的関数に対しては R線形収束を達成する。

ABSTRACT

In this paper, we develop a class of decentralized algorithms for solving a convex resource allocation problem in a network of $n$ agents, where the agent objectives are decoupled while the resource constraints are coupled. The agents communicate over a connected undirected graph, and they want to collaboratively determine a solution to the overall network problem, while each agent only communicates with its neighbors. We first study the connection between the decentralized resource allocation problem and the decentralized consensus optimization problem. Then, using a class of algorithms for solving consensus optimization problems, we propose a novel class of decentralized schemes for solving resource allocation problems in a distributed manner. Specifically, we first propose an algorithm for solving the resource allocation problem with an $o(1/k)$ convergence rate guarantee when the agents' objective functions are generally convex (could be nondifferentiable) and per agent local convex constraints are allowed; We then propose a gradient-based algorithm for solving the resource allocation problem when per agent local constraints are absent and show that such scheme can achieve geometric rate when the objective functions are strongly convex and have Lipschitz continuous gradients. We have also provided scalability/network dependency analysis. Based on these two algorithms, we have further proposed a gradient projection-based algorithm which can handle smooth objective and simple constraints more efficiently. Numerical experiments demonstrates the viability and performance of all the proposed algorithms.

研究の動機と目的

• エージェントが私的な目的関数と結合制約を持つネットワークにおける分散リソース割り当ての課題に対処する。
• 中央集権的なコーディネータを必要としない分散アルゴリズムを構築する。
• 特に非滑らかで強い凸性を満たす問題に対して、既存の手法を上回る収束速度を改善する。
• 提案されたアルゴリズムのスケーラビリティとネットワーク依存性を分析する。
• 勾配射影法を用いて滑らかな目的関数と単純な制約を効率的に処理する変種を設計する。

提案手法

• 既知の収束保証を活用するため、リソース割り当て問題を共感最適化問題として定式化する。
• ネットワークトポロジーに適合したステップサイズを用いる共感ベースの更新則を持つ、Mirror-P-EXTRA と呼ばれるプライマルデュアルアルゴリズムを提案する。
• 1反復あたりの計算コストを低減するために、勾配射影を用いる計算負荷の軽減版である Mirror-PG-EXTRA を導入する。
• リャプノフ解析を用いて収束速度を確立し、ラプラシアン行列の2番目に小さい固有値に依存する定数を含む。
• 局所的エージェントデータとグローバルなネットワーク構造を考慮したパrameterチューニング戦略を採用し、収束速度の向上を図る。
• 時間変動する有向グラフ上での検証に Mirror-Push-DIGing を用い、動的通信トポロジに強い収束性を示した。

実験結果

リサーチクエスチョン

• RQ1 分散アルゴリズムは、一般の凸関数（微分可能でない可能性あり）のリソース割り当てにおいて o(1/k) 収束を達成できるか？
• RQ2 目的関数が強い凸性とリプシッツ連続な勾配を持つ場合、分散リソース割り当てで幾何的（R線形）収束を達成できるか？
• RQ3 特にラプラシアン行列の2番目に小さい固有値に起因するネットワークトポロジーが、分散アルゴリズムの収束速度に与える影響は何か？
• RQ4 通信コストと局所的計算の間にはどのようなトレードオフがあり、それを最適化する方法は何か？
• RQ5 提案されたアルゴリズムは、時間変動する有向通信グラフに対しても収束保証を維持できるか拡張可能か？

主な発見

• 提案された Mirror-P-EXTRA アルゴリズムは、局所的制約を伴う一般の凸関数（微分可能でない可能性あり）に対し、o(1/k) の収束速度を達成する。
• リプシッツ連続な勾配を持つ強い凸目的関数で局所的制約がない場合、R線形（幾何的）収束を達成する。
• Mirror-PG-EXTRA は、1反復あたりの計算量を削減した上で競争力のある性能を示し、大規模ネットワークに適している。
• 数値実験では、1反復あたりのコストが高めでも、反復回数の観点で Mirror-P-EXTRA が他のアルゴリズムを上回ることを示した。
• 時間変動する有向グラフ上でも、手動で調整されたステップサイズを用いた Mirror-Push-DIGing により、収束性が維持されることを実証した。
• スケーラビリティ解析から、収束速度がネットワークの接続性に依存することが判明した。最悪ケースでは λ₂⁻¹ が O(n⁴) に比例するが、通信確率を最適化すればより良い性能が得られる可能性がある。