[論文レビュー] Computing the log-determinant of symmetric, diagonally dominant matrices in near-linear time

Timothy Hunter, A. El Alaoui+1 more|arXiv (Cornell University)|Aug 8, 2014

Complexity and Algorithms in Graphs参考文献 20被引用数 5

ひとこと要約

この論文は、スペクトルスパースファイアーとモンテカルロサンプリングを用いて、対称かつ対角優勢（SDD）行列の対数行列式を近似する、近線形時間のアルゴリズムであるUltraLogDetを提示する。確率的高確率で、非ゼロ要素数mと条件数κₐを用いて、Õ(mϵ⁻²log³n log²(nκₐ/ϵ))時間でϵ-近似を達成する。これは、行列のパターンや条件数に依存しない最初のアルゴリズムであり、対数的要因を超えて独立している。

ABSTRACT

We present new algorithms for computing the log-determinant of symmetric, diagonally dominant matrices. Existing algorithms run with cubic complexity with respect to the size of the matrix in the worst case. Our algorithm computes an approximation of the log-determinant in time near-linear with respect to the number of non-zero entries and with high probability. This algorithm builds upon the utra-sparsifiers introduced by Spielman and Teng for Laplacian matrices and ultimately uses their refined versions introduced by Koutis, Miller and Peng in the context of solving linear systems. We also present simpler algorithms that compute upper and lower bounds and that may be of more immediate practical interest.

研究の動機と目的

• 通常のコレスキー分解によりO(n³)時間が必要となる、大規模かつスパースな対称対角優勢（SDD）行列の対数行列式計算における計算ボトルネックを解消すること。
• 一般のSDD行列に対してコレスキー分解におけるフィルイン問題を回避し、直接的因数分解を避ける代わりにスペクトルスパースファイアーを用いること。
• 非ゼロ要素数にほぼ線形の時間計算量を達成する手法を開発すること。条件数に依存する部分は対数的要因を超えない。
• 主な近線形時間近似とは別に、より単純なアルゴリズムを用いて実用的な上界と下界を提供すること。
• 空間統計、ガウス過程、統計物理学の分野において重要な対数行列式のスケーラブルな計算を可能にすること。

提案手法

• スピルマンとテンの超スパースファイアーおよびクラス・ミラー・ペングによる改良版を用いて、SDD行列の低ストレッチ全域木およびスペクトルスパースファイアーを構築する。
• スパース化された行列上のランダムウォークに基づくモンテカルロサンプリング手順を用い、行列対数のトレースをべき級数展開により推定する。
• 行列対数のトレース恒等式 log|A| = Tr(log A) を適用し、M = A − I とおくと、log A の近似に級数 ∑(−1)^i / (i+1) * M^i を用いる。
• 系列展開の収束を速く保証するため、グラウンドドラプラシアンを用いた前処理ステップを導入する。
• 線形作用素C(Ax)を繰り返し適用することで、ベクトルの系列(x_i,j)を構築し、べき級数の項をシミュレートする。誤差はスペクトル特性によって制限される。
• 集中不等式と高確率的保証を用いて、モンテカルロ平均が真のトレースから逸脱する確率を制御し、確率的高確率でϵ-近似を達成する。

実験結果

リサーチクエスチョン

• RQ1 対称かつ対角優勢行列の対数行列式は、非ゼロ要素数にほぼ線形の時間で近似可能か？
• RQ2 アルゴリズムは、条件数に依存する部分を対数的要因を超えて回避できるか？これにより、スパースながたいSDD行列に対してもスケーラブルな性能が得られるか？
• RQ3 スペクトルスパースファイアーとモンテカルロサンプリングを組み合わせることで、対数行列式の正確かつ効率的な近似が可能か？
• RQ4 大規模なSDD行列の対数行列式近似において、精度、実行時間、実用性のトレードオフはどのようなものか？
• RQ5 より単純なアルゴリズムを設計し、実用的でタイトな上界と下界を即座に得られるようにできるか？

主な発見

• UltraLogDetアルゴリズムは、確率的高確率で、Õ(mϵ⁻²log³n log²(nκₐ/ϵ))時間でSDD行列の対数行列式のϵ-近似を計算する。
• アルゴリズムの計算量は条件数κₐにほぼ対数的依存であり、中程度の条件数を持つ行列に対しても頑健である。
• 非ゼロ要素数mに対して近線形依存を達成しており、標準的なコレスキー分解のO(n³)時間に比べ顕著な改善が得られる。
• 理論的枠組みは、スペクトルスパースファイアーと確率的トレース推定を組み合わせており、行列対数のべき級数展開の利用を可能にする。
• アルゴリズムの単純化されたバージョンは、実用的で計算効率の良い対数行列式の上界と下界を提供する。
• アルゴリズムのモンテカルロコアは本質的に並列化可能であり、分散処理やGPU加速環境への展開が有望である。