[論文レビュー] A Push-Pull Gradient Method for Distributed Optimization in Networks

Shi Pu, Wei Shi+2 more|arXiv (Cornell University)|Mar 20, 2018

Distributed Control Multi-Agent Systems参考文献 42被引用数 21

ひとこと要約

本稿では、ネットワーク内の分散最適化のための新しいプッシュプル勾配法を提案する。各エージェントは、近隣にプッシュする最適意思決定変数の推定値と、近隣からプルする平均勾配の推定値を維持する。この手法は、有向静的ネットワーク上での強い凸性および滑らかさを満たす関数に対して線形収束を達成し、時間変動するトポロジーに対してもロバストであり、既存の手法に比べて数値的安定性とスケーラビリティに優れる。

ABSTRACT

In this paper, we focus on solving a distributed convex optimization problem in a network, where each agent has its own convex cost function and the goal is to minimize the sum of the agents' cost functions while obeying the network connectivity structure. In order to minimize the sum of the cost functions, we consider a new distributed gradient-based method where each node maintains two estimates, namely, an estimate of the optimal decision variable and an estimate of the gradient for the average of the agents' objective functions. From the viewpoint of an agent, the information about the decision variable is pushed to the neighbors, while the information about the gradients is pulled from the neighbors (hence giving the name "push-pull gradient method"). The method unifies the algorithms with different types of distributed architecture, including decentralized (peer-to-peer), centralized (master-slave), and semi-centralized (leader-follower) architecture. We show that the algorithm converges linearly for strongly convex and smooth objective functions over a directed static network. In our numerical test, the algorithm performs well even for time-varying directed networks.

研究の動機と目的

• エージェントが局所的目的関数を持ち、局所的通信を通じて協調するネットワークにおける分散凸最適化を扱う。
• 分散型、集中型、準集中型のネットワークアーキテクチャを網羅する統一アルゴリズムを設計する。
• 二重確率的混合行列を必要とせず、有向静的ネットワーク上での強い凸性および滑らかさを満たす目的関数に対して線形収束を達成する。
• 特に大規模または時間変動するネットワークにおいて、既存のプッシュサムベースの手法に比べて数値的安定性とスケーラビリティを向上させる。
• 時間変動する有向グラフに対しても、収束性と安定性を維持するようにこの手法を拡張する。

提案手法

• 各エージェントは、最適意思決定変数（x）の推定値と、平均勾配（y）の推定値の2つの推定値を維持し、それぞれプッシュおよびプル操作によって更新する。
• xの更新には、行確率的混合行列を用いて、近隣に意思決定変数推定値をプッシュする操作を実行する。
• yの更新には、列確率的混合行列を用いて、近隣からの勾配推定値を集約するプル操作を実行する。
• アルゴリズムは勾配追跡法として定式化されており、意思決定変数のコンSENSUSと平均勾配の追跡を統合する。
• 従来のアルゴリズム（例：Push-DIGing）が引き起こす数値的不安定性を引き起こす除算演算を回避することで、大規模または時間変動する設定でもロバスト性を向上させる。
• ランダムなリンク活性化を用いて、時間変動する有向グラフに対してもアルゴリズムを拡張し、弱い連結性の仮定のもとで収束性を維持する。

実験結果

リサーチクエスチョン

• RQ1 二重確率的重みを必要とせず、有向静的ネットワーク上での線形収束を達成できる分散最適化アルゴリズムは存在するか？
• RQ2 統一アルゴリズムが分散型、集中型、準集中型アーキテクチャをすべてサポートできるか？
• RQ3 異なる確率的行列を用いたプッシュおよびプル操作が収束性および数値的安定性に与える影響は何か？
• RQ4 時間変動する有向通信グラフ上でも、特にグラフの結合が強く連結でない場合にアルゴリズムはどのように動作するか？
• RQ5 時間変動設定において小さな除数が原因で発生する数値的不安定性を、Push-DIGingと同様の問題を回避できるか？

主な発見

• プッシュプル勾配法は、有向静的ネットワーク上での強い凸性および滑らかさを満たす目的関数に対して線形収束を達成し、収束速度は条件数に依存する。
• 従来のアルゴリズム（例：Push-DIGing）とは異なり、除算演算を回避することで、時間変動または大規模ネットワークにおいても数値的に安定している。特に、Push-DIGingは除数がΩ(n^(-Bn))のスケーリングを示す問題を抱えるが、本手法はこれを回避する。
• シミュレーションでは、静的および時間変動する有向グラフの両方で良好な性能を発揮し、残差曲線にスパイクを示すPush-DIGingに比べて、より速く安定した収束を達成する。
• リーダーフォロワー構造に対してもロバストであるが、活性グラフの結合が強く連結でない場合、完全に連結な設定に比べて収束が遅くなる。
• ノードあたりのストレージおよび通信複雑度はO(p)であり、大規模ネットワーク（n ≫ p）においてスケーラブルである。これに対して、Xi-rowはO(n + p)の複雑度を有する。
• ステップサイズの理論的上限がネットワークサイズに悪くスケーリングされないため、大規模または動的ネットワークでも信頼性の高い性能を発揮できる。