[論文レビュー] Distributed Stochastic Gradient Tracking Methods

Shi Pu, Angelia Nedić|arXiv (Cornell University)|May 25, 2018

Distributed Control Multi-Agent Systems参考文献 55被引用数 13

ひとこと要約

本稿では、確率的勾配を用いた分散マルチエージェント最適化のための分散確率的勾配追跡（DSGT）およびガッソウ型確率的勾配追跡（GSGT）手法を提案する。定常ステップサイズのもとで、DSGTは反復が最適解の近傍へ指数的かつ高速に収束することを保証し、誤差境界はネットワークサイズnとともに減少する。これは中央集権的確率的勾配法の性能と一致する。

ABSTRACT

In this paper, we study the problem of distributed multi-agent optimization over a network, where each agent possesses a local cost function that is smooth and strongly convex. The global objective is to find a common solution that minimizes the average of all cost functions. Assuming agents only have access to unbiased estimates of the gradients of their local cost functions, we consider a distributed stochastic gradient tracking method (DSGT) and a gossip-like stochastic gradient tracking method (GSGT). We show that, in expectation, the iterates generated by each agent are attracted to a neighborhood of the optimal solution, where they accumulate exponentially fast (under a constant stepsize choice). Under DSGT, the limiting (expected) error bounds on the distance of the iterates from the optimal solution decrease with the network size $n$, which is a comparable performance to a centralized stochastic gradient algorithm. Moreover, we show that when the network is well-connected, GSGT incurs lower communication cost than DSGT while maintaining a similar computational cost. Numerical example further demonstrates the effectiveness of the proposed methods.

研究の動機と目的

• 定常ステップサイズのもとでネットワークサイズnとともに誤差境界が減少しない既存の分散確率的最適化手法のギャップを埋める。
• 制限誤差境界の観点から中央集権的確率的勾配法と同等の性能を達成する分散アルゴリズムを開発する。
• 通信コストを低減しつつ類似した計算効率を維持するガッソウ型変種（GSGT）を設計する。
• 有界な分散を持つ確率的勾配推定倣い、最適解の近傍への収束を保証する。
• ネットワーク接続性とステップサイズが収束速度および誤差境界に与える影響を分析する。

提案手法

• 各エージェントが追跡変数y_iを用いて平均勾配の局所的推定値を維持する分散確率的勾配追跡手法（DSGT）を導入する。
• 定常ステップサイズαと混合行列Wを用い、ネットワーク全体で情報の平均化を実現し、最適解の近傍への指数的収束を保証する。
• GSGTではガッソウ型通信プロトコルを採用し、各ステップで2つのエージェントのみが通信することで、DSGTに比べ通信コストを削減する。
• リャプノフ解析と行列集中不等式を用いて誤差境界を導出し、確率的勾配ノイズとネットワークトポロジーを考慮する。
• 局所的な確率的勾配の平均を追跡するための補助変数y_iを導入し、グローバル勾配平均の分散処理を可能にする。
• 確率的勾配の分散に関する再帰的不等式と境界を用いて、追跡誤差と反復の期待値の進化を分析する。

実験結果

リサーチクエスチョン

• RQ1 定常ステップサイズのもとで、分散確率的勾配法がネットワークサイズnとともに減少する誤差境界を達成でき、中央集権的性能と一致するか？
• RQ2 通信プロトコルの選択（フルディフュージョン対ガッソウ）が、分散確率的最適化における収束速度と通信コストに与える影響は何か？
• RQ3 ネットワーク接続性が、分散確率的勾配法の収束速度と誤差境界に与える影響は何か？
• RQ4 DSGTの追跡メカニズムは、確率的勾配ノイズが存在する中でも、最適解の近傍への指数的収束を保証できるか？
• RQ5 DSGTおよびGSGTの誤差境界は、エージェント数および確率的勾配の分散にどのように依存するか？

主な発見

• 定常ステップサイズのもとで、DSGTはエージェントの反復と最適解との期待距離が、O(σ²/n)の近傍へ指数的かつ高速に収束することを保証する。ここでσ²は勾配ノイズの分散である。
• DSGTの制限誤差境界はネットワークサイズnに反比例して減少し、中央集権的確率的勾配法と同等の性能を達成する。
• GSGTはガッソウ型プロトコルを用いることでDSGTに比べ通信コストを削減し、類似した計算複雑性と収束速度を維持する。
• ネットワークが良好に接続されている場合、GSGTはDSGTに比べ通信コストを低く抑えつつ、収束品質を損なわない。
• 解析により、追跡誤差と最適解からの反復のずれは、σ²、L（リプシッツ定数）およびネットワーク混合特性を含む項で有界であることが示された。
• 期待追跡誤差は指数的に減少し、収束速度は混合行列の固有値特性とステップサイズの選択に依存する。