[論文レビュー] Efficient Structured Matrix Recovery and Nearly-Linear Time Algorithms for Solving Inverse Symmetric $M$-Matrices

Arun Jambulapati, Kirankumar Shiragur+1 more|arXiv (Cornell University)|Dec 15, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用数 5

ひとこと要約

本稿では、ラプラシアン行列やSDD行列を含む広範なクラスである逆対称M行列を解くためのほぼ線形時間のアルゴリズムを提示する。この手法は、多対数時間の適応的線形測定値のみを用いてスペクトル近似を回復することで実現される。主な貢献は、このようなシステムを解くための $\tilde{O}(n^2)$ 時間のアルゴリズムを達成したことである。これは、標準的な行列乗算に基づく方法の $O(n^\rho)$ 時間と比べて顕著に改善されている。

ABSTRACT

In this paper we show how to recover a spectral approximations to broad classes of structured matrices using only a polylogarithmic number of adaptive linear measurements to either the matrix or its inverse. Leveraging this result we obtain faster algorithms for variety of linear algebraic problems. Key results include: $\bullet$ A nearly linear time algorithm for solving the inverse of symmetric $M$-matrices, a strict superset of Laplacians and SDD matrices. $\bullet$ An $ ilde{O}(n^2)$ time algorithm for solving $n imes n$ linear systems that are constant spectral approximations of Laplacians or more generally, SDD matrices. $\bullet$ An $ ilde{O}(n^2)$ algorithm to recover a spectral approximation of a $n$-vertex graph using only $ ilde{O}(1)$ matrix-vector multiplies with its Laplacian matrix. The previous best results for each problem either used a trivial number of queries to exactly recover the matrix or a trivial $O(n^ω)$ running time, where $ω$ is the matrix multiplication constant. We achieve these results by generalizing recent semidefinite programming based linear sized sparsifier results of Lee and Sun (2017) and providing iterative methods inspired by the semistreaming sparsification results of Kapralov, Lee, Musco, Musco and Sidford (2014) and input sparsity time linear system solving results of Li, Miller, and Peng (2013). We hope that by initiating study of these natural problems, expanding the robustness and scope of recent nearly linear time linear system solving research, and providing general matrix recovery machinery this work may serve as a stepping stone for faster algorithms.

研究の動機と目的

• 逆対称M行列に属する線形システムを解くための効率的アルゴリズムの開発。これはラプラシアン行列やSDD行列の厳密な上位集合である。
• ラプラシアン行列との行列ベクトル積を $\tilde{O}(1)$ 回以内に使用して、$n$ 頂点グラフのスペクトル近似を回復すること。
• グラフ構造が存在する場合でさえも、高速行列乗算（$O(n^\rho)$ 時間）に依存する既存手法の制限を克服すること。
• 最近の半定値計画法およびスパース化技術を一般化し、ほぼ線形時間での行列回復とシステム解法を可能にすること。
• 少ない適応的測定値を用いて、構造化行列回復の一般枠組みを確立し、保証付きの性能を達成すること。

提案手法

• 行列またはその逆行列に対する適応的線形測定値を活用し、多対数時間のクエリ複雑度でスペクトル近似を回復する。
• LeeとSun（2017）の半定値計画法に基づくスパース化技術を、構造化行列に適応・拡張する。
• Kapralovら（2014）の半ストリーミングスパース化およびLiら（2013）の入力スパarsity線形システムソルバーにインspiredされた反復的手法を採用する。
• オラクル実装において、行列内積および二次形式を効率的に近似するために、Johnson-Lindenstraussスケッチを用いる。
• スピード $1/2$、誤差 $\varepsilon$ の専用オラクル（$\mathtt{MOracle}$）を設計し、$\widetilde{O}\left(\frac{1}{\gamma^4\rho^{O(1)}}\left(\mathcal{T}_{\mathbf{B}} + \mathcal{T}_{\mathbf{B}^{-1}} + \mathcal{T}_{MV} + \mathcal{T}_{QF}\right)\right)$ 時間で実行される。
• パッケージング半定値計画法の結果（定理5.1）を用いて、目的係数および制約ベクトルに乗法的近似を施した変換された最適化問題を解く。

実験結果

リサーチクエスチョン

• RQ1 逆対称M行列のような構造化行列のスペクトル近似は、多対数時間の適応的線形測定値のみを用いて回復可能か？
• RQ2 行列が密であっても、逆対称M行列の線形システムをほぼ線形時間で解くことは可能か？
• RQ3 $n$ 頂点グラフのスペクトルスパーシファイアは、ラプラシアン行列との行列ベクトル積を $\widetilde{O}(1)$ 回以内に使用して回復可能か？
• RQ4 ほぼ線形時間の線形システム解法のロバスト性を、ラプラシアン行列を超えてより広い行列クラスへ拡張することは可能か？
• RQ5 高速行列乗算に依存していた問題に対して、より高速なアルゴリズムを可能にする一般化された行列回復機構を開発することは可能か？

主な発見

• $n \times n$ の線形システムがラプラシアン行列やSDD行列の定数スペクトル近似である場合、$\tilde{O}(n^2)$ 時間で解けるアルゴリズムが達成された。
• 対称$M$-行列の逆行列を解くほぼ線形時間のアルゴリズムが開発された。これはラプラシアン行列やSDD行列を特別なケースとして含む。
• 本稿では、対称$M$-行列の逆行列がブロック分離可能または密であることを示し、両ケースにおいてほぼ線形時間での解法が可能であることを示した。
• $n$ 頂点グラフのスペクトル近似は、そのラプラシアン行列との行列ベクトル積を $\tilde{O}(1)$ 回以内に使用して回復可能である。
• 提案されたオラクル（$\mathtt{MOracle}$）は、$\widetilde{O}\left(\frac{1}{\gamma^4\rho^{O(1)}}\left(\mathcal{T}_{\mathbf{B}} + \mathcal{T}_{\mathbf{B}^{-1}} + \mathcal{T}_{MV} + \mathcal{T}_{QF}\right)\right)$ 時間で実行され、効率的な実装を可能にする。
• フレームワークは、高確率で $(1 - O(\delta))$-近似解を達成し、$O(\mathcal{W}_{L,\delta} \log m \cdot \log(nm/\delta)/\delta^3)$ 時間を要する。