[論文レビュー] Achieving Geometric Convergence for Distributed Optimization over Time-Varying Graphs

Angelia Nedich, Alex Olshevsky+1 more|arXiv (Cornell University)|Jul 12, 2016

Distributed Control Multi-Agent Systems被引用数 31

ひとこと要約

本稿では、固定ステップサイズと勾配追跡を用いて、時間変動する無向および有向グラフ上でそれぞれR線形（幾何的）収束を達成する分散最適化アルゴリズムであるDIGingおよびPush-DIGingを提案する。主な貢献は、強い凸性のもとで、時間変動するグラフ構造ですらも保証される幾何的収束の確立であり、有向グラフでは双方向確率行列を必要とせず、プッシュサム適合による手法を用いることで達成される。

ABSTRACT

This paper considers the problem of distributed optimization over time-varying graphs. For the case of undirected graphs, we introduce a distributed algorithm, referred to as DIGing, based on a combination of a distributed inexact gradient method and a gradient tracking technique. The DIGing algorithm uses doubly stochastic mixing matrices and employs fixed step-sizes and, yet, drives all the agents' iterates to a global and consensual minimizer. When the graphs are directed, in which case the implementation of doubly stochastic mixing matrices is unrealistic, we construct an algorithm that incorporates the push-sum protocol into the DIGing structure, thus obtaining Push-DIGing algorithm. The Push-DIGing uses column stochastic matrices and fixed step-sizes, but it still converges to a global and consensual minimizer. Under the strong convexity assumption, we prove that the algorithms converge at R-linear (geometric) rates as long as the step-sizes do not exceed some upper bounds. We establish explicit estimates for the convergence rates. When the graph is undirected it shows that DIGing scales polynomially in the number of agents. We also provide some numerical experiments to demonstrate the efficacy of the proposed algorithms and to validate our theoretical findings.

研究の動機と目的

• 時間変動する通信グラフ（無向および有向）上で幾何的収束を達成する分散最適化アルゴリズムの開発。
• 有向グラフにおいて、二重確率行列を必要とせず、固定ステップサイズ法が線形収束を達成できる仕組みの構築。
• 強い凸性のもとで明示的な収束速度の上限を導出し、先行研究の部分線形またはQ線形収束よりも改善する。
• 時間変動する無向および有向グラフ上で数値実験を実施し、理論的結果の妥当性を検証する。
• 分散最適化の適用範囲を、グラフ構造に関する最小限の仮定で動的ネットワークトポロジーに拡張する。

提案手法

• 無向グラフに対しては、分散不正確勾配法と勾配追跡、および二重確率行列を組み合わせたDIGingを導入する。
• 固定ステップサイズを用い、時間変動する接続性に対してもすべてのエージェントがグローバルかつ一貫した最小化点に収束することを保証する。
• 有向グラフに対しては、プッシュサムプロトコルをDIGingフレームワークに統合することでPush-DIGingを構築し、列確率行列を用いて収束を維持する。
• 小さなゲイン定理を用いて、強い凸性のもとでR線形収束を確立し、ステップサイズの明示的上限を導出する。
• 無向グラフではメトロポリス重みを、有向グラフではプッシュサム適合性を満たす出次数に基づく重みを用いて混合行列を構築する。
• 無向グラフの場合、エージェント数に多項式的に依存する収束速度の見積もりを導出する。

実験結果

リサーチクエスチョン

• RQ1 固定ステップサイズを用いて、時間変動する無向グラフ上で分散最適化アルゴリズムがR線形収束を達成できるか？
• RQ2 二重確率行列が不実用的な有向グラフにおいて、どのように幾何的収束を達成できるか？
• RQ3 時間変動する設定で幾何的収束を保証するためのステップサイズの明示的上限は何か？
• RQ4 無向時間変動ネットワークにおける収束速度は、エージェント数にどのように依存するか？
• RQ5 提案手法は、プッシュ勾配法やEXTRAなど既存手法に比べ、収束速度および通信コストの面で優れているか？

主な発見

• DIGingは、固定ステップサイズと二重確率行列を用いて、ネットワークの全体像を把握しない状態でも、時間変動する無向グラフ上でR線形収束を達成する。
• Push-DIGingは、列確率行列とプッシュサムプロトコルを用いて、時間変動する有向グラフ上で幾何的収束を保証し、グラフバランスの必要性を回避する。
• 収束速度は明示的に上限が設定されており、強い凸性定数およびリプシッツ勾配定数に依存し、導出された上限以下にステップサイズを制限することで収束が保証される。
• 数値実験により、DIGingおよびその変種はR線形収束を示す一方で、プッシュ勾配法は強い凸性下でも部分線形収束にとどまることが確認された。
• DIGing-ATCは、反復回数の観点ではDIGingよりも高速に収束するが、1反復あたりの通信コストが高くなる。一方、Push-DIGingは通信コストを半減させながら、DIGing-ATCと同等の速度を達成した。
• EXTRAとDIGingは、同じステップサイズ下でほぼ同一の収束曲線を示し、無向グラフにおける理論的同等性が検証された。