[論文レビュー] Spectral Sparsification of Random-Walk Matrix Polynomials

Dehua Cheng, Yu Cheng+3 more|arXiv (Cornell University)|Feb 12, 2015

Matrix Theory and Algorithms参考文献 6被引用数 10

ひとこと要約

本稿では、形式 $\mathbf{L}_{\bm{\alpha}}(G) = \mathbf{D} - \sum_{r=1}^{d} \alpha_r \mathbf{D}(\mathbf{D}^{-1}\mathbf{A})^r$ のランダムウォーク行列多項式の、初めてのほぼ線形時間のスペクトルスパース化アルゴリズムを提示する。$\tilde{\mathbf{L}} \approx_{\epsilon} \mathbf{L}_{\bm{\alpha}}(G)$ を達成し、非ゼロ要素数が $O(n\log n/\epsilon^2)$、実行時間は $O(d^2 m \log^2 n / \epsilon^2)$ である。本手法はパスサンプリングとスペクトルスパースファイアの合成を用いて、高次元のランダムウォーク遷移を効率的に近似する。

ABSTRACT

We consider a fundamental algorithmic question in spectral graph theory: Compute a spectral sparsifier of random-walk matrix-polynomial $$L_α(G)=D-\sum_{r=1}^dα_rD(D^{-1}A)^r$$ where $A$ is the adjacency matrix of a weighted, undirected graph, $D$ is the diagonal matrix of weighted degrees, and $α=(α_1...α_d)$ are nonnegative coefficients with $\sum_{r=1}^dα_r=1$. Recall that $D^{-1}A$ is the transition matrix of random walks on the graph. The sparsification of $L_α(G)$ appears to be algorithmically challenging as the matrix power $(D^{-1}A)^r$ is defined by all paths of length $r$, whose precise calculation would be prohibitively expensive. In this paper, we develop the first nearly linear time algorithm for this sparsification problem: For any $G$ with $n$ vertices and $m$ edges, $d$ coefficients $α$, and $ε> 0$, our algorithm runs in time $O(d^2m\log^2n/ε^{2})$ to construct a Laplacian matrix $ ilde{L}=D- ilde{A}$ with $O(n\log n/ε^{2})$ non-zeros such that $ ilde{L}\approx_εL_α(G)$. Matrix polynomials arise in mathematical analysis of matrix functions as well as numerical solutions of matrix equations. Our work is particularly motivated by the algorithmic problems for speeding up the classic Newton's method in applications such as computing the inverse square-root of the precision matrix of a Gaussian random field, as well as computing the $q$th-root transition (for $q\geq1$) in a time-reversible Markov model. The key algorithmic step for both applications is the construction of a spectral sparsifier of a constant degree random-walk matrix-polynomials introduced by Newton's method. Our algorithm can also be used to build efficient data structures for effective resistances for multi-step time-reversible Markov models, and we anticipate that it could be useful for other tasks in network analysis.

研究の動機と目的

• ランダムウォーク行列多項式のアルゴリズム的課題に取り組むこと。これらの行列は行列の累乗のため、密で計算が高価である。
• スパース化を用いて、時刻可逆マルコフモデルにおける逆平方根と $q$-乗根遷移の効率的計算を可能にすること。
• 数値計算で生じる複雑な行列多項式のスペクトル的に類似したスパース近似を構築するスケーラブルでほぼ線形時間のアルゴリズムを開発すること。
• $(\mathbf{D}^{-1}\mathbf{A})^r$ を直接計算する代わりにパスをサンプリングすることで、その計算コストを回避すること。
• 有効抵抗のための高速データ構造とネットワーク解析およびガウスグラフィカルモデルにおける改善アルゴリズムの基盤を提供すること。

提案手法

• 各単項式 $\mathbf{D}(\mathbf{D}^{-1}\mathbf{A})^r$ を長さ $r$ のパスに対応するインシデントベクトルの和として表現するためのパスサンプリングを用いる。
• 有効抵抗に比例する確率でエッジをサンプリングするスペクトルスパースファイア構築法を適用し、パスに由来する行列の構造を活用する。
• 各単項式 $\mathbf{M}_r = \mathbf{D}_r - \mathbf{D}(\mathbf{D}^{-1}\mathbf{A})^r + \mathbf{D}_{\text{extra}}$ をラプラシアンと対角補正に分解し、スパース化を可能にする。
• Lemma 5.2 を用いてパスのエッジの逆有効抵抗をバウンドし、サンプリングの集中性を保証する。
• スパース化されたパスグラフを組み合わせ、行列ベクトル乗算により対角補正 $\mathbf{D}_{\text{extra}}$ を計算することで、最終的なスパースファイア $\tilde{\mathbf{L}}$ を構築する。
• スペクトル類似性と誤差伝搬を用いて個々の単項式のスパースファイアを合成し、$\tilde{\mathbf{L}} \approx_{\epsilon} \mathbf{L}_{\bm{\alpha}}(G)$ を達成する。

実験結果

リサーチクエスチョン

• RQ1 形式 $\mathbf{L}_{\bm{\alpha}}(G) = \mathbf{D} - \sum_{r=1}^{d} \alpha_r \mathbf{D}(\mathbf{D}^{-1}\mathbf{A})^r$ のランダムウォーク行列多項式に対して、スペクトルスパース化を効率的に行うことは可能か？
• RQ2 $(\mathbf{D}^{-1}\mathbf{A})^r$ を直接計算する代わりにパスをサンプリングすることで、その計算コストを回避することは可能か？
• RQ3 定数でない $d$ であっても、有界次数 $d$ の行列多項式のスパース化にほぼ線形時間のアルゴリズムを設計することは可能か？
• RQ4 非可換な行列項を含む複数の単項式間で、スペクトル類似性をどのように保てるか？
• RQ5 このアプローチは、ほぼ線形時間で任意の次数 $d$ のランダムウォーク行列多項式のスパース化に一般化可能か？

主な発見

• アルゴリズムは、$\mathbf{L}_{\bm{\alpha}}(G)$ のスペクトルスパースファイア $\tilde{\mathbf{L}}$ を構築し、非ゼロ要素数が $O(n\log n/\epsilon^2)$、実行時間は $O(d^2 m \log^2 n / \epsilon^2)$ である。
• スパースファイアは $\tilde{\mathbf{L}} \approx_{\epsilon} \mathbf{L}_{\bm{\alpha}}(G)$ を満たし、これは $[ST11]$ で定義されたように $(1-\epsilon)\mathbf{L}_{\bm{\alpha}} \preceq \tilde{\mathbf{L}} \preceq (1+\epsilon)\mathbf{L}_{\bm{\alpha}}$ を意味する。
• 明示的な行列累乗の計算を回避し、有効抵抗に基づくサンプリングによるパスのサンプリングを用いることで、ほぼ線形時間の計算量を達成する。
• 本手法は、ガウスグラフィカルモデルにおける逆平方根の計算や、時刻可逆マルコフ連鎖における $q$-乗根遷移といった重要な問題に適用可能である。
• 偶数次の単項式に対しても、$\epsilon = 1/\log d$ の有界誤差許容範囲で適用可能であり、フレームワークは高次多項式へも拡張可能である。
• $\mathbf{D}_{\text{extra}}$ の構築は行列ベクトル乗算により効率的であり、対角補正項の正確な計算が可能である。