[論文レビュー] Distributed SDDM Solvers: Theory & Applications

Rasul Tutunov, Haitham Bou-Ammar+1 more|arXiv (Cornell University)|Aug 17, 2015

Sparse and Compressive Sensing Techniques参考文献 49被引用数 3

ひとこと要約

本稿では、分散型スパース近似逆行列チェーンを用いて、対称的対角優勢M行列（SDDM）のための2つの分散型ソルバーを提案し、ネットワークフロー最適化における効率的でスケーラブルな解法を実現する。この手法は、超線形収束を達成し、収束速度が最先端技術の最大100倍速くなる。高精度な分散ニュートン法により、任意の精度 ϵ > 0 でニュートン方向を近似可能である。

ABSTRACT

In this paper, we propose distributed solvers for systems of linear equations given by symmetric diagonally dominant M-matrices based on the parallel solver of Spielman and Peng. We propose two versions of the solvers, where in the first, full communication in the network is required, while in the second communication is restricted to the R-Hop neighborhood between nodes for some $R \geq 1$. We rigorously analyze the convergence and convergence rates of our solvers, showing that our methods are capable of outperforming state-of-the-art techniques. Having developed such solvers, we then contribute by proposing an accurate distributed Newton method for network flow optimization. Exploiting the sparsity pattern of the dual Hessian, we propose a Newton method for network flow optimization that is both faster and more accurate than state-of-the-art techniques. Our method utilizes the distributed SDDM solvers for determining the Newton direction up to any arbitrary precision $\epsilon >0$. We analyze the properties of our algorithm and show superlinear convergence within a neighborhood of the optimal. Finally, in a set of experiments conducted on randomly generated and barbell networks, we demonstrate that our approach is capable of significantly outperforming state-of-the-art techniques.

研究の動機と目的

• 通信制限がある大規模ネットワークにおける、対称的対角優勢M行列（SDDM）の高速かつ分散型ソルバーの開発。
• 集中型プリコンディショナーやスパース逆行列チェーンの分散環境下での限界を克服し、分散計算を可能にする。
• ネットワークフロー最適化のための分散ニュートン法を設計し、SDDMソルバーを用いて高精度かつ高速な収束を達成する。
• 多様なネットワークトポロジーにおいて、既存手法と比較して収束速度およびメッセージ複雑度の点で優れた性能を示すことを実証する。
• 提案手法の収束特性およびメッセージ複雑度を分析する。

提案手法

• ペンとスピルマン（2014）の集中型ソルバーにおけるグローバル計算を置き換える分散型スパース近似逆行列チェーンを提案し、SDDMシステムの分散解法を可能にする。
• 通信を完全に活用するバージョンとRホップ近傍に制限するバージョンの2つのソルバーバリエーションを導入し、通信オーバーヘッドを低減する。
• 2段階アプローチを採用：まず「粗い」解を計算し、次に分散型Rホッププリコンディショナーを用いてそれを精錬し、ϵ-精度を達成する。
• ネットワークフロー問題における双対ヘッセ行列のスパarsityパターンを活用し、SDDMソルバーを用いてニュートン方向を効率的に計算する2次の最適化手法を設計する。
• 1未満の固有値を持つ行列の累乗を用いて逆行列チェインを短縮し、先行研究と比較して計算複雑度を低減する。
• 収束速度を分析し、最適解の近傍で超線形収束を示すことを示し、正確なニュートン法と類似した性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 通信が分散型である制約下でも、集中型ソルバーと同等の収束速度と精度を維持できる分散型SDDMソルバーを設計可能か？
• RQ2 通信をRホップ近傍に制限すると、分散型SDDMソルバーの収束速度および計算複雑度にどのような影響を与えるか？
• RQ3 ネットワークフロー最適化のための分散ニュートン法を設計可能か。特に、超線形収束を達成し、正確な集中型ニュートン法と同等の性能を発揮できるか？
• RQ4 既存手法と比較して、提案手法のメッセージ複雑度と収束速度のトレードオフはどのように変化するか？
• RQ5 バーベルグラフやランダムネットワークを含む複雑なネットワークトポロジーにおいて、提案手法はどのようにスケーリングするか？

主な発見

• 提案された分散型SDDMソルバーは、ランダムネットワークおよびバーベルネットワークの両方において、最先端手法（ADDおよび勾配降下法）と比較して収束が最大100倍速い。
• 60ノードのバーベルグラフにおいて、SDDM-ニュートン法は100回未満の反復で収束した。2番目に速い手法（ADD）はほぼ3,000回の反復を要した。
• 最適解の近傍で超線形収束を示し、正確な集中型ニュートン法と類似した性能を達成した。
• メッセージ複雑度は O(κ(LG)dmax) で有界であり、κ(LG)はグラフラプラシアンの条件数を表す。他の手法と比較してわずかに増加したにとどまり、効果的であることが示された。
• 120ノードのバーベルネットワークにおいても、SDDM-ニュートン法は目的関数値および実行可能性の両面で優れた性能を維持し、スケーラビリティとロバストネスを確認した。
• 計算複雑度において、先行研究より log n 倍改善され、[34]と比較してグラフ次数の要因に応じて改善が得られた。特に、成分ごとの解の精度において顕著な向上が見られた。