[論文レビュー] Walkman: A Communication-Efficient Random-Walk Algorithm for Decentralized Optimization

Xianghui Mao, Kun Yuan+4 more|arXiv (Cornell University)|Apr 18, 2018

Distributed Control Multi-Agent Systems参考文献 43被引用数 11

ひとこと要約

Walkman は、固定ステップサイズのランダムウォーク戦略を用いた通信効率が高く分散型の最適化アルゴリズムを提案する。各反復で1つのリンクのみを用いて更新を伝搬する。非分散型最小二乗法において線形収束を達成し、従来の手法と比較して優れた通信複雑度を実現する。固定ステップサイズを用いても収束が速く、段階的ステップサイズの減少を必要としない。

ABSTRACT

This paper addresses consensus optimization problems in a multi-agent network, where all agents collaboratively find a minimizer for the sum of their private functions. We develop a new decentralized algorithm in which each agent communicates only with its neighbors. State-of-the-art decentralized algorithms use communications between either all pairs of adjacent agents or a random subset of them at each iteration. Another class of algorithms uses a random walk incremental strategy, which sequentially activates a succession of nodes; these incremental algorithms require diminishing step sizes to converge to the solution, so their convergence is relatively slow. In this work, we propose a random walk algorithm that uses a fixed step size and converges faster than the existing random walk incremental algorithms. Our algorithm is also communication efficient. Each iteration uses only one link to communicate the latest information for an agent to another. Since this communication rule mimics a man walking around the network, we call our new algorithm Walkman. We establish convergence for convex and nonconvex objectives. For decentralized least squares, we derive a linear rate of convergence and obtain a better communication complexity than those of other decentralized algorithms. Numerical experiments verify our analysis results.

研究の動機と目的

• 減少するステップサイズを必要とする従来のランダムウォーク増分アルゴリズムの収束遅さを解消すること。
• 各反復で1つのリンクのみを用いることで、分散最適化における通信オーバーヘッドを低減し、ランダムウォークを模倣する。
• 固定ステップサイズを用いても、凸および非凸の目的関数に対してグローバル収束を維持しつつ、より速い収束を達成すること。
• 非分散型最小二乗法における線形収束レートを確立し、従来の分散アルゴリズムよりも通信複雑度を改善すること。

提案手法

• アルゴリズムは、各反復で1人のエージェントが選ばれ、その変数をランダムな隣接エージェントに更新・転送するランダムウォークプロセスを用いる。これにより、各反復で1つの通信リンクしかアクティブにならない。
• 固定ステップサイズを採用することで、正確な解への収束を求めるために段階的ステップサイズを必要とするアルゴリズムと比較して、より速い収束を実現する。
• エージェントが局所関数の和をグローバル正則化子とともに共同で最小化するという、コアの最適化フレームワークに基づく。
• 可逆なマルコフ連鎖を用いた無向グラフ上の性質とリャプノフ解析を用いて収束を確立する。
• 部分勾配ノルムをバインドし収束レートを導出するために、潜在関数 $ L_{eta}^k $ を活用する。
• 通信パターンにより、グローバルな同期を必要とせず、ローカルな隣接エージェント間の相互作用のみに依存した協調を実現する。

実験結果

リサーチクエスチョン

• RQ1 固定ステップサイズを用いても通信コストを低く抑えながら、線形収束を達成できる分散最適化アルゴリズムは実現可能か？
• RQ2 ガスピング通信や全対全通信と比較して、ランダムウォーク通信パターンは収束速度および通信複雑度においてどのように異なるか？
• RQ3 Walkman の通信複雑度は非分散型最小二乗法においてどの程度か？ また、最先端の手法と比較してどうか？
• RQ4 固定ステップサイズを用いても、非凸の目的関数に対してアルゴリズムは正確な解に収束できるか？
• RQ5 基礎となるマルコフ連鎖のミキシング時間は、アルゴリズムの収束レートにどのように影響するか？

主な発見

• Walkman は、従来のランダムウォーク手法とは異なり、固定ステップサイズを用いても非分散型最小二乗法で線形収束を達成する。
• Walkman の通信複雑度は $ Oig(rac{ au( heta)^2 + 1}{(1 - heta)nar{ ho}}ig) $ であり、既存の分散アルゴリズムよりも優れている。
• 可逆なマルコフ連鎖で $ heta = 1/2 $ の場合、$ ilde{O}(1/ε) $ の精度に到達するまでの反復複雑度は $ Oig(τ(δ)^2 ∕ (1 - λ_2(Θ))^2ig) $ である。ここで $ τ(δ) $ はミキシング時間である。
• アルゴリズムは $ ℓ \to ∞ ℎ \|g^k\| \to 0 $ almost surely を保証し、定常点への収束を証明する。
• 収束レートはリャプノフ関数を用い、反復のスライディングウインドウ上の期待部分勾配ノルムをバインドすることで導出される。
• 数値実験により理論的分析が確認され、最先端の分散手法と比較してより速い収束と低い通信コストを示している。