[論文レビュー] Linear convergence in optimization over directed graphs with row-stochastic matrices

Chenguang Xi, Van Sy+3 more|arXiv (Cornell University)|Nov 18, 2016

Distributed Control Multi-Agent Systems参考文献 37被引用数 3

ひとこと要約

本稿では、有向グラフ上で線形収束を達成する完全に分散型の最適化アルゴリズムを提案する。このアルゴリズムは、エージェントが隣接ノードの出次数を事前に知る必要がなく、$O(\mu^k)$の収束速度を達成する。行確率的行列と新規の勾配追跡メカニズムを活用することで、滑らかで強い凸関数の最適化において、通信量を最小限に抑えつつ高速かつスケーラブルな収束を実現する。

ABSTRACT

This paper considers a distributed optimization problem over a multi-agent network, in which the objective function is a sum of individual cost functions at the agents. We focus on the case when communication between the agents is described by a \emph{directed} graph. Existing distributed optimization algorithms for directed graphs require at least the knowledge of the neighbors' out-degree at each agent (due to the requirement of column-stochastic matrices). In contrast, our algorithm requires no such knowledge. Moreover, the proposed algorithm achieves the best known rate of convergence for this class of problems, $O(μ^k)$ for $0

研究の動機と目的

• 既存の手法がエージェントが隣接ノードの出次数を知る必要があるという制限を克服する、有向グラフ上での分散最適化の課題に対処する。
• ブロードキャストベースや非対称通信ネットワークにおける列確率的行列の構築が現実的でないという問題を克服する。
• 双対変数や減少するステップサイズに依存しない、完全に分散型のアルゴリズムを開発する。
• 強い凸関数で滑らかな目的関数に対して、有向ネットワーク上での最良の既知の線形収束レート、$O(\mu^k)$を達成する。
• エージェントの固有識別子と行確率的重みの局所的知識のみを要件とすることで、実用的な展開を可能にする。

提案手法

• 有向グラフ上で定義された、局所的で強い凸的かつリプシッツ連続勾配関数の和を最小化する分散最適化問題を定式化する。
• 局所的情報と行確率的重み行列を用いて、グローバル勾配を推定する勾配追跡メカニズムを用いる。
• 局所的勾配降下法と行確率的行列を用いた勾配推定値の協調を組み合わせる、新規の更新則を設計する。
• 減少するステップサイズによる遅い部分線形収束を避けるために、定数ステップサイズ戦略を導入し、線形収束を保証する。
• エージェントの固有識別子を活用して、出次数の情報がなくてもアルゴリズムが収束することを可能にする。
• プライマル反復と勾配推定値の誤差をバインドする、リャプノフ型の解析により収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 エージェントが隣接ノードの出次数を知る必要がない場合に、有向グラフ上での分散最適化アルゴリズムが線形収束を達成できるか。
• RQ2 列確率的行列や双方向確率的行列の代わりに、行確率的行列のみを用いて、$O(\mu^k)$の収束を達成することは可能か。
• RQ3 DEXTRA、ADD-OPT、およびSubgradient-Pushといった既存手法と比較して、提案手法の収束速度と通信効率はどのように異なるか。
• RQ4 有向グラフ上での分散最適化において、行確率的行列が収束を保証する理論的条件は何か。
• RQ5 ネットワークトポロジーのグローバルな知識や大規模な協調が最小限に抑えられた状態で、アルゴリズムを完全に分散型に実装可能か。

主な発見

• 提案手法は、リプシッツ連続勾配を有する強い凸関数に対して、$O(\mu^k)$の線形収束を達成し、文献で知られる最良の収束レートと一致する。
• エージェントの出次数の知識が不要であるため、DEXTRA や ADD-OPT、Push-DIGing といった手法と比較して、実用的な利点が顕著である。
• 分散ロジスティック回帰問題における数値実験では、Subgradient-Push や Directed-Distributed Subgradient Descent といった部分線形収束手法よりも、提案手法がより速く収束することが示された。
• 勾配ベースの手法が減少するステップサイズを必要とするのに対し、本手法は定数ステップサイズでも高速な収束を維持する。
• 10エージェントと3次元パラメータを有する強連結有向グラフ上でも、ネットワークトポロジーに依存しない収束の安定性が実証された。
• 理論的解析により、プライマル反復と勾配推定値の誤差が指数関数的に減少することが確認され、ある $\gamma_1 < 1$ に対して $\|\mathbf{x}_k - \mathbf{x}^*\|_2 \leq \gamma_1^k \|\nabla \mathbf{f}_k\|_2$ でバインドされる。