[論文レビュー] Communication/Computation Tradeoffs in Consensus-Based Distributed Optimization

Konstantinos I. Tsianos, Sean Lawlor+1 more|arXiv (Cornell University)|Sep 5, 2012

Distributed Control Multi-Agent Systems参考文献 17被引用数 44

ひとこと要約

この論文は、通信コストがかかる分散最適化における、コンSENSUSベースの最適化の通信/計算のトレードオフを分析し、通信コストと計算コストの比を定量化する問題固有のパラメータ $ r $ を導入する。最適なパフォーマンスは、通信量やプロセッサ数を最大化することではなく、両者のバランスを取ることで達成され、驚くべきことに、時間の経過とともに通信頻度を低下させることで収束が早くなることが示された。理論的予測は、メトリック学習および非滑らかな凸問題に対する実際のクラスタでの実験と一致している。

ABSTRACT

We study the scalability of consensus-based distributed optimization algorithms by considering two questions: How many processors should we use for a given problem, and how often should they communicate when communication is not free? Central to our analysis is a problem-specific value $r$ which quantifies the communication/computation tradeoff. We show that organizing the communication among nodes as a $k$-regular expander graph (Reingold, Vadhan, and Wigderson, 2002) yields speedups, while when all pairs of nodes communicate (as in a complete graph), there is an optimal number of processors that depends on $r$. Surprisingly, a speedup can be obtained, in terms of the time to reach a fixed level of accuracy, by communicating less and less frequently as the computation progresses. Experiments on a real cluster solving metric learning and non-smooth convex minimization tasks demonstrate strong agreement between theory and practice.

研究の動機と目的

• 通信コストがかかる状況下での、コンセンサスベース分散最適化のスケーラビリティの限界を理解すること。
• 収束時間を最小化するための最適なプロセッサ数と通信頻度を特定すること。
• 問題固有のパラメータ $ r $ を用いて、通信/計算のトレードオフを定量化すること。
• 理論的予測を実際の分散クラスタでの実験により検証すること。
• スパarsified通信（例：$ h $ 回ごとに通信）が収束速度に与える影響を調査すること。

提案手法

• 各イテレーションのコストが計算項と通信項から成る通信/計算コストモデルを導入し、$ r $ でパラメータ化する。
• 最適化とネットワーク由来の誤差を分離するために、分散デュアルアveraging（DDA）フレームワークを用いる。
• 完全グラフと $ k $-正則エクスパンダー・グラフの2つのネットワークトポロジーにおける収束を分析する。
• 完全グラフでは最適プロセッサ数 $ n_{\text{opt}} = 1/\sqrt{r} $ を理論的に導出し、エクスパンダーでは速度向上が逓減することを示す。
• 通信のスパarsificationとして、コンセンサスステップ間隔 $ h $ を増加させる手法を提案し、$ h_t = t^p $（$ p \in (0,1) $）とする。
• メトリック学習および非滑らかな凸最小化タスクを用いた実際のクラスタ上で、$ r $ を変化させた実験により結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 通信コストがかかる分散最適化問題において、最適なプロセッサ数は何か？
• RQ2 コンセンサスベース分散最適化において、通信頻度は収束速度にどのように影響するか？
• RQ3 通信頻度を低減させることで収束が早くなることはあり得るか？ もしあるなら、どのような条件下で成立するか？
• RQ4 通信/計算トレードオフパラメータ $ r $ は、分散最適化アルゴリズムのパフォーマンスにどのように影響するか？
• RQ5 理論的予測は、実際のクラスタ上での実世界のパフォーマンスとどの程度一致するか？

主な発見

• 完全グラフトポロジーでは、最適プロセッサ数は $ n_{\text{opt}} = 1/\sqrt{r} $ であり、実験でこの予測が確認された（$ r \approx 0.0293 $ の場合、$ n_{\text{opt}} = 6 $）。
• 通信コスト $ r $ が小さい場合（例：$ r = 0.005 $）、$ n_{\text{opt}} = 14.15 $ までプロセッサ数を増加させるとほぼ線形のスピードアップが得られるが、それ以上では逓減する。
• 通信をスパース化して $ h = t^{0.3} $ と設定すると、同じ通信回数でも、各イテレーションごとに通信する（$ h=1 $）場合よりも収束が速くなる。
• 通信がやりすぎず（例：$ h = t $）、通信が頻繁でない場合、アルゴリズムは収束しなくなるため、初期段階での通信が不可欠であることが確認された。
• 理論的予測は、メトリック学習および非滑らかな凸最小化タスクの両方で、実験結果と極めてよく一致している。
• k-正則エクスパンダー・グラフでは、ネットワークサイズの増加に伴い速度向上が逓減するが、完全グラフでは最適な $ n $ が存在する。