[論文レビュー] Solving Directed Laplacian Systems in Nearly-Linear Time through Sparse LU Factorizations

Michael B. Cohen, Jonathan A. Kelner+5 more|arXiv (Cornell University)|Nov 26, 2018

Markov Chains and Monte Carlo Methods参考文献 9被引用数 5

ひとこと要約

本稿では、Eulerianラプラシアン—入次数と出次数がバランスした有向グラフを表す行列—のためのスパースな近似LU分解を導入することで、有向ラプラシアンシステムをほぼ線形時間で解く最初のアルゴリズムを提示する。この手法は、元の行列をスペクトル的に近似する下三角行列Lと上三角行列UをそれぞれÕ(n)個の非ゼロ要素で構築し、線形システムの高速解法およびその関連問題（定常分布やパーソナライズドPageRankの計算など）をほぼ線形時間で実行可能にする。

ABSTRACT

We show how to solve directed Laplacian systems in nearly-linear time. Given a linear system in an $n imes n$ Eulerian directed Laplacian with $m$ nonzero entries, we show how to compute an $ε$-approximate solution in time $O(m \log^{O(1)} (n) \log (1/ε))$. Through reductions from [Cohen et al. FOCS'16] , this gives the first nearly-linear time algorithms for computing $ε$-approximate solutions to row or column diagonally dominant linear systems (including arbitrary directed Laplacians) and computing $ε$-approximations to various properties of random walks on directed graphs, including stationary distributions, personalized PageRank vectors, hitting times, and escape probabilities. These bounds improve upon the recent almost-linear algorithms of [Cohen et al. STOC'17], which gave an algorithm to solve Eulerian Laplacian systems in time $O((m+n2^{O(\sqrt{\log n \log \log n})})\log^{O(1)}(n ε^{-1}))$. To achieve our results, we provide a structural result that we believe is of independent interest. We show that Laplacians of all strongly connected directed graphs have sparse approximate LU-factorizations. That is, for every such directed Laplacian $ {\mathbf{L}}$, there is a lower triangular matrix $\boldsymbol{\mathit{\mathfrak{L}}}$ and an upper triangular matrix $\boldsymbol{\mathit{\mathfrak{U}}}$, each with at most $ ilde{O}(n)$ nonzero entries, such that their product $\boldsymbol{\mathit{\mathfrak{L}}} \boldsymbol{\mathit{\mathfrak{U}}}$ spectrally approximates $ {\mathbf{L}}$ in an appropriate norm. This claim can be viewed as an analogue of recent work on sparse Cholesky factorizations of Laplacians of undirected graphs. We show how to construct such factorizations in nearly-linear time and prove that, once constructed, they yield nearly-linear time algorithms for solving directed Laplacian systems.

研究の動機と目的

• 有向グラフ上の非対称プロセスをモデル化する上で基本的である有向ラプラシアンシステムを、ほぼ線形時間で解く最初のアルゴリズムを開発すること。
• 無向グラフ向けのほぼ線形時間ソルバーと、有向または非対称システム向けの効率的ソルバーの間の長年の格差を是正すること。
• Eulerianラプラシアンが、各因子にÕ(n)個の非ゼロ要素を持つスパースな近似LU分解を有することを示す構造的結果を提供すること。
• 先行研究の還元を用いて、定常分布、パーソナライズドPageRank、到達時間、脱出確率といった重要なランダムウォーク特性をほぼ線形時間で計算可能にする。
• n²O(√log n log log n)の依存性を排除することで、従来のほぼ線形時間アルゴリズムよりも良好な実行時間境界を達成し、m本の辺に対してÕ(m)の時間計算量を実現すること。

提案手法

• 新たな構造的結果を導入：すべてのEulerianラプラシアンは、LとUの両方がÕ(n)個の非ゼロ要素を持ち、LUが元の行列をスペクトル的に近似するスパースな近似LU分解を有する。
• グラフの頂点の再帰的分割と階層的クラスタリングを用いて、ほぼ線形時間でスパースLU分解を構築する。
• スペクトル近似を除去ステップ中に維持するために、シュール補行列と疑似逆行列の技術を活用する。
• 誤差の制御のため、慎重に選ばれた誤差閾値とシュール補行列の凸結合を用いた段階的除去プロセスを採用する。
• 演算子単調性および行列ノルムの不等式（例：補題6.3および6.6を用いて）を適用し、段階間での誤差伝搬を制限する。
• 因子分解を反復ソルバーと組み合わせることで、線形システムのǫ-近似解を時間Õ(m logO(1)(n) log(1/ǫ))で計算可能にする。

実験結果

リサーチクエスチョン

• RQ1 有向ラプラシアンシステムは、無向ラプラシアンソルバーと同等の効率でほぼ線形時間で解けるか？
• RQ2 入出次数がバランスした有向グラフを表すEulerianラプラシアンは、スパースな近似LU分解を有するか？
• RQ3 このようなスパースLU分解は、効率的に構築可能であり、線形システムのほぼ線形時間解法に利用可能か？
• RQ4 得られるアルゴリズムは、定常分布やPageRankなどの重要なランダムウォーク特性をほぼ線形時間で計算可能か？
• RQ5 複数の除去段階にわたる誤差はどのように蓄積され、シュール補行列の凸結合を用いて制御可能か？

主な発見

• 本稿は、m本の非ゼロ要素に対してÕ(m)の実行時間で動作する、Eulerianラプラシアンシステムを解く最初のほぼ線形時間アルゴリズムを達成した。
• すべてのEulerianラプラシアンが、LとUの両方の行列にÕ(n)個の非ゼロ要素を持ち、元の行列をスペクトル的に近似するスパースな近似LU分解を有することを証明した。
• このような因子分解の構築はほぼ線形時間で可能であり、線形システムの高速解法を可能にする。
• この手法により、有向ラプラシアンシステムのǫ-近似解が時間Õ(m logO(1)(n) log(1/ǫ))で得られる。
• 定常分布、パーソナライズドPageRankベクトル、到達時間、脱出確率といった有向グラフ上の重要なランダムウォーク特性をほぼ線形時間で計算可能である。
• 従来のほぼ線形時間ソルバーと比較して、n²O(√log n log log n)の項を排除することで、辺の数mに対する綺麗なÕ(m)依存性を達成した。