[論文レビュー] AB/Push-Pull Method for Distributed Optimization in Time-Varying Directed Networks

Angelia Nedich, Duong Thuy Anh Nguyen+1 more|arXiv (Cornell University)|Sep 14, 2022

Distributed Control Multi-Agent Systems被引用数 4

ひとこと要約

本稿は、時間変動する有向ネットワークにおける分散最適化のためのAB/Push-Pull手法を提案する。行および列の両方の確率的混合行列を用いて最適意思決定と平均勾配を追跡する。グラフの直径、コスト関数の性質、行列の接続性に基づいて明示的なステップサイズの上限を導出し、ネットワーク構造と直接関連付けることで、先行研究に比べて収束の収縮パラメータを構造に直接結びつける。

ABSTRACT

In this paper, we study the distributed optimization problem for a system of agents embedded in time-varying directed communication networks. Each agent has its own cost function and agents cooperate to determine the global decision that minimizes the summation of all individual cost functions. We consider the so-called push-pull gradient-based algorithm (termed as AB/Push-Pull) which employs both row- and column-stochastic weights simultaneously to track the optimal decision and the gradient of the global cost while ensuring consensus and optimality. We show that the algorithm converges linearly to the optimal solution over a time-varying directed network for a constant stepsize when the agent's cost function is smooth and strongly convex. The linear convergence of the method has been shown in Saadatniaki et al. (2020), where the multi-step consensus contraction parameters for row- and column-stochastic mixing matrices are not directly related to the underlying graph structure, and the explicit range for the stepsize value is not provided. With respect to Saadatniaki et al. (2020), the novelty of this work is twofold: (1) we establish the one-step consensus contraction for both row- and column-stochastic mixing matrices with the contraction parameters given explicitly in terms of the graph diameter and other graph properties; and (2) we provide explicit upper bounds for the stepsize value in terms of the properties of the cost functions, the mixing matrices, and the graph connectivity structure.

研究の動機と目的

• エージェントが局所的なコスト関数を持つ時間変動する有向ネットワークにおける分散最適化を扱う。
• 滑らかで強く凸なコスト関数の下で線形収束を保証する勾配ベースの手法を開発する。
• AB/Push-Pullアルゴリズムのステップサイズに対して、グラフ構造に依存する明示的な上界を提供する。
• グラフの直径と接続性指標を用いて、行および列の確率的行列の1ステップのコンSENSUS収縮を確立する。
• 従来のAB/Push-Pull収束結果を静的有向グラフから時間変動する有向グラフへと拡張し、より強い解析的保証を提供する。

提案手法

• 2つの独立した混合行列を用いる：行確率的行列で意思決定推定値をプッシュし、列確率的行列で勾配情報を取り込む。
• 各エージェントは2つの推定値を維持する：最適意思決定変数の推定値と、局所コスト関数の平均勾配の推定値。
• アルゴリズムはプッシュプル方式で動作する：意思決定は行確率的行列を介してプッシュされ、勾配は列確率的行列を介してプルされる。
• 収縮性質はグラフの直径と接続性構造を用いて導出され、両方の推定値の1ステップコンセンサスを保証する。
• 収束解析は、アルゴリズムのダイナミクスから導かれるシステム行列の固有値半径の上限に依存する。
• Lipschitz定数、強い凸性パラメータ、混合行列の性質を含む不等式系を解くことで、明示的なステップサイズの上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 AB/Push-Pull手法は、滑らかで強く凸なコスト関数を持つ時間変動する有向ネットワークで線形収束を達成できるか？
• RQ2 収束を保証するためのステップサイズを、ネットワーク構造と関数の性質に基づいて明示的にどのように上限づけることができるか？
• RQ3 混合行列の収縮パラメータとグラフの直径および接続性の間にはどのような関係があるか？
• RQ4 不適切に条件付けられた（ill-conditioned）かつアンバランスなネットワークにおいて、本手法はPush-DIGingと比較してどのように性能を発揮するか？
• RQ5 本手法は、一様な強い連結性ではなく周期的な強い連結性を満たすネットワークへと拡張可能か？

主な発見

• AB/Push-Pull手法は、滑らかで強く凸なコスト関数を持つ時間変動する有向ネットワークにおいて、グローバル最小値への線形収束を達成する。
• 行および列の確率的行列の収縮パラメータは、すべてのグラフ直径およびその他の構造的性質と明示的に関連づけられる。
• Lipschitz定数、強い凸性パラメータ、および混合行列の性質に依存する明示的なステップサイズの上界が導出された。
• 不適切に条件付けられた問題やアンバランスなネットワークにおいて、より大きな許容可能なステップサイズのおかげで、Push-DIGingよりも収束速度が優れている。
• 収束解析は、C-strongly-connectedなグラフ系列の下でも成り立つため、周期的ネットワーク接続性への適用範囲が拡張される。
• ステップサイズが導出された明示的範囲内に選ばれているとき、システム行列の固有値半径は1未満に抑えられ、線形収束が保証される。