[論文レビュー] On the Distributed Optimization over Directed Networks

Chenguang Xi, Qiong Wu+1 more|arXiv (Cornell University)|Oct 7, 2015

Distributed Control Multi-Agent Systems参考文献 28被引用数 6

ひとこと要約

本稿では、二重確率的重み行列を分散的に構築できない有向グラフ向けに、新たな分散最適化アルゴリズムである指向的分散勾配降下法（D-DGD）を提案する。補助変数を導入して状態更新を追跡することで、行確率的かつ列確率的重み行列を同時に維持し、一致と最適性の両方を達成する。本手法は、非線形プッシュサム法と同等の収束速度 $O(\frac{\ln k}{\sqrt{k}})$ を達成するが、除法を含まない線形反復のみを用いる。

ABSTRACT

In this paper, we propose a distributed algorithm, called Directed-Distributed Gradient Descent (D-DGD), to solve multi-agent optimization problems over directed graphs. Existing algorithms mostly deal with similar problems under the assumption of undirected networks, i.e., requiring the weight matrices to be doubly-stochastic. The row-stochasticity of the weight matrix guarantees that all agents reach consensus, while the column-stochasticity ensures that each agent's local gradient contributes equally to the global objective. In a directed graph, however, it may not be possible to construct a doubly-stochastic weight matrix in a distributed manner. We overcome this difficulty by augmenting an additional variable for each agent to record the change in the state evolution. In each iteration, the algorithm simultaneously constructs a row-stochastic matrix and a column-stochastic matrix instead of only a doubly-stochastic matrix. The convergence of the new weight matrix, depending on the row-stochastic and column-stochastic matrices, ensures agents to reach both consensus and optimality. The analysis shows that the proposed algorithm converges at a rate of $O(\frac{\ln k}{\sqrt{k}})$, where $k$ is the number of iterations.

研究の動機と目的

• 有向グラフ上でのマルチエージェント最適化のための分散アルゴリズムが不足している問題に対処する。既存手法は二重確率的重み行列に依存している。
• 有向グラフ上では二重確率的行列を分散的に構築できないという課題を克服する。
• 無向通信トポロジの仮定を必要とせず、有向ネットワーク上での分散勾配降下法において、一致と最適性の両方を達成する。
• 非線形演算（例：除法）を避ける線形反復に基づく手法を開発する。これに対して、先行するプッシュサムベースの手法とは異なり、非線形操作を含まない。
• 提案手法の理論的収束保証と収束速度解析を確立する。

提案手法

• 各エージェント $i$ に補助変数 $\mathbf{y}_i^k$ を導入し、累積的な状態更新を追跡することで、行確率的および列確率的性質を別々に取り扱えるようにする。
• 各反復で二つの重み行列を構築する：エージェント間での一致を保証する行確率的行列 $M$ と、各エージェントの勾配寄与度を等しく保つ列確率的行列 $W$。
• 線形反復を用いる：$\mathbf{x}_i^{k+1} = \sum_{j \in \mathcal{N}_i^\text{in}} M_{ij} \mathbf{x}_j^k - \alpha \nabla f_i(\mathbf{x}_i^k) + \mathbf{y}_i^k$ および $\mathbf{y}_i^{k+1} = \mathbf{y}_i^k + \mathbf{x}_i^{k+1} - \sum_{j \in \mathcal{N}_i^\text{in}} M_{ij} \mathbf{x}_j^k$。
• 重み行列 $M$ と $W$ を組み合わせた総合的重み行列が、グローバル最適解への収束を保証するようにバランスを取る。
• 二重確率的行列に依存せずに収束を解析するため、重み行列の左固有ベクトルを活用する。

実験結果

リサーチクエスチョン

• RQ1 二重確率的行列を構築できない有向ネットワーク上でも、分散勾配降下法がグローバル最適解に収束させられるか？
• RQ2 無向通信仮定を必要とせず、有向グラフ上でも一致と勾配寄与度のバランスを同時に達成できるか？
• RQ3 除法などの非線形演算を避ける線形反復のみを用いる分散アルゴリズムの収束速度は何か？
• RQ4 収束速度と安定性の観点から、提案手法 D-DGD は既存のプッシュサムベース手法と比較してどのように差がつくか？
• RQ5 一般の強連結有向グラフトポロジにおいて、状態変数と補助変数の収束を理論的に証明できるか？

主な発見

• D-DGDアルゴリズムは、補助状態追跡により、有向ネットワーク上でも行確率的および列確率的重み行列を維持することで、グローバル最適解への収束を達成する。
• 本手法は $O(\frac{\ln k}{\sqrt{k}})$ の収束速度を達成し、非線形プッシュサム法の最良水準と同等の性能を示す。
• 数値実験では、エッジ数の多いグラフ（例：$\mathcal{G}_c$）で情報交換能力が高いため、より速い収束が観察された。
• すべてのエージェントの状態変数 $\mathbf{x}_i^k$ は同じ極限点 $\overline{\mathbf{z}}^k$ に収束し、これが最適解 $\mathbf{x}^*$ に等しい。一方、補助変数 $\mathbf{y}_i^k$ はゼロに収束する。
• 行確率的行列を用いる標準的 DGD と比較して、D-DGD は真の最適性を達成するが、DGD は重み付き和の目的関数 $\widehat{f}(\mathbf{x}) = \sum \pi_i f_i(\mathbf{x})$ に収束する。
• 本手法は除法などの非線形演算を避けるため、プッシュサム変種と比較して、リアルタイムおよびリソース制限のある分散システムに適している。