[論文レビュー] A Fast Distributed Solver for Symmetric Diagonally Dominant Linear Equations

Rasul Tutunov, Haitham Bou-Ammar+1 more|arXiv (Cornell University)|Feb 11, 2015

Matrix Theory and Algorithms参考文献 14被引用数 8

ひとこと要約

この論文は、SpielmanとPengの並列スolverを分散化することで、対称的対角優勢M行列（SDDM）の高速分散スolverを提示する。$\epsilon$-近似解を$\mathcal{O}\left(n^{3}\frac{\alpha}{R}\frac{W_{\text{max}}}{W_{\text{min}}}\log\left(\frac{1}{\epsilon}\right)\right)$ 時間で達成し、従来の手法と比較してそれぞれ $\log n$ および $d(n)$（ノード次数）の要因で高速化される。

ABSTRACT

In this paper, we propose a fast distributed solver for linear equations given by symmetric diagonally dominant M-Matrices. Our approach is based on a distributed implementation of the parallel solver of Spielman and Peng by considering a specific approximated inverse chain which can be computed efficiently in a distributed fashion. Representing the system of equations by a graph $\mathbb{G}$, the proposed distributed algorithm is capable of attaining $ε$-close solutions (for arbitrary $ε$) in time proportional to $n^{3}$ (number of nodes in $\mathbb{G}$), $α$ (upper bound on the size of the R-Hop neighborhood), and $\frac{{W}_{max}}{{W}_{min}}$ (maximum and minimum weight of edges in $\mathbb{G}$).

研究の動機と目的

• 対称的対角優勢M行列（SDDM）線形方程式系を解くためのスケーラブルで分散型のアルゴリズムを開発すること。
• SpielmanとPengの並列スolverを、効率的な通信を伴う分散型、非中央集権的な設定に拡張すること。
• ヤコビ法や最近の非同期スolverと比較して、より速い収束を達成すること。
• 分散制約下でも低計算複雑性を維持しながら、一般のSDDMシステムに対して収束を保証すること。
• 分散ネットワークにおける $\epsilon$-精度解を得るために必要な演算回数を解析し、上限を求めること。

提案手法

• SpielmanとPengの並列スパース近似逆行列チェーンスローラーを分散計算に適応した方法を採用する。
• Rホップの近隣通信モデルを用い、情報交換をRホップ以内のノードに制限することでオーバーヘッドを低減する。
• 収束を保証するため、深さ $d = \lceil \log(2\ln(\sqrt[3]{2}/(\sqrt[3]{2}-1))\kappa) \rceil$ の近似逆行列チェーン $\mathcal{C} = \{\bm{A}_0, \bm{D}_0, \dots, \bm{A}_d, \bm{D}_d\}$ を構築する。
• 局所的な行列演算と近隣ノード間の通信を活用した、チェーンに基づく分散反復処理により解を計算する。
• 解は $\bm{M}_0$-ノルムにおいて $\epsilon$-近似解であることを保証し、$\|\bm{x}^* - \tilde{\bm{x}}\|_{\bm{M}_0} \leq \epsilon \|\bm{x}^*\|_{\bm{M}_0}$ で定義される。
• 計算複雑性は $\mathcal{O}\left(n^3 \frac{\alpha}{R} \frac{W_{\text{max}}}{W_{\text{min}}} \log(1/\epsilon)\right)$ で上限が保証され、ここで $\alpha$ はRホップ近隣のサイズの上界である。

実験結果

リサーチクエスチョン

• RQ1 SpielmanとPengの並列SDDMスolverは、通信が制限されたノードネットワークに効果的に分散可能か？
• RQ2 Rホップ通信制約下の分散環境において、$\epsilon$-精度解を得るための計算複雑性は何か？
• RQ3 提案された分散スolverは、ヤコビ法や非同期スolverと比較して性能に優れるか？
• RQ4 グラフの重みと近隣ノードサイズの変化が、分散アルゴリズムの収束速度に与える影響は何か？
• RQ5 グローバルな調整やスパース行列の分解を必要とせずに、高速な収束を維持できるか？

主な発見

• 提案された分散スolverは、$\mathcal{O}\left(n^3 \frac{\alpha}{R} \frac{W_{\text{max}}}{W_{\text{min}}} \log(1/\epsilon)\right)$ 時間で $\epsilon$-近似解を達成し、$\alpha = \min\left\{n, \frac{d_{\text{max}}^{R+1}-1}{d_{\text{max}}-1}\right\}$ である。
• 一般のSDDMシステムにおいて、ヤコビ反復法と比較して計算複雑性が $\log n$ 倍高速化される。
• 最近の非同期スolver [16] と比較して、一般の場合に最大ノード次数 $d(n)$ の要因で高速化される。
• すべての対称的対角優勢M行列に対して収束を保証し、古典的な厳密対角優勢仮定を一般化する。
• 深さ $d = \lceil \log(2\ln(\sqrt[3]{2}/(\sqrt[3]{2}-1))\kappa) \rceil$ の近似逆行列チェーンの使用により、$\epsilon_d < \frac{1}{3}\ln 2$ が保証され、収束に不可欠となる。
• 分散実装は、ノードごとの計算量をほぼ線形に保ち、最悪ケースでも多項式対数的深さを維持し、元の並列スolverの理論的効率性を再現する。