[論文レビュー] Scalable Parallel Factorizations of SDD Matrices and Efficient Sampling for Gaussian Graphical Models

Dehua Cheng, Yu Cheng+3 more|arXiv (Cornell University)|Oct 20, 2014

Gaussian Processes and Bayesian Inference参考文献 16被引用数 5

ひとこと要約

この論文は、対称的対角優勢（SDD）行列の因数分解およびSDD精度行列をもつガウスグラフィカルモデルからの有効なサンプリングを可能にする、ほぼ最適でスケーラブルな並列アルゴリズムを提示する。行列の二乗化、スペクトルスパーシフィケーション、多項式近似を組み合わせることで、並列マシン上でほぼ線形の作業量と多対数の深さを達成し、$ n $ 個の独立同分布の単変量ガウス分布からのサンプルのみを用いてサンプリングを実現し、最適なランダムネス複雑度を達成する。

ABSTRACT

Motivated by a sampling problem basic to computational statistical inference, we develop a nearly optimal algorithm for a fundamental problem in spectral graph theory and numerical analysis. Given an $n imes n$ SDDM matrix ${\bf \mathbf{M}}$, and a constant $-1 \leq p \leq 1$, our algorithm gives efficient access to a sparse $n imes n$ linear operator $ ilde{\mathbf{C}}$ such that $${\mathbf{M}}^{p} \approx ilde{\mathbf{C}} ilde{\mathbf{C}}^ op.$$ The solution is based on factoring ${\bf \mathbf{M}}$ into a product of simple and sparse matrices using squaring and spectral sparsification. For ${\mathbf{M}}$ with $m$ non-zero entries, our algorithm takes work nearly-linear in $m$, and polylogarithmic depth on a parallel machine with $m$ processors. This gives the first sampling algorithm that only requires nearly linear work and $n$ i.i.d. random univariate Gaussian samples to generate i.i.d. random samples for $n$-dimensional Gaussian random fields with SDDM precision matrices. For sampling this natural subclass of Gaussian random fields, it is optimal in the randomness and nearly optimal in the work and parallel complexity. In addition, our sampling algorithm can be directly extended to Gaussian random fields with SDD precision matrices.

研究の動機と目的

• SDD精度行列をもつガウスランダムフィールドのスケーラブルな並列サンプリングアルゴリズムの開発、特に逐次的ギブスサンプリングの限界を克服すること。
• ほぼ線形の総作業量と多対数の並列深さを達成し、大規模な統計的推論に適したものとすること。
• 各サンプルに対して $ n $ 個の独立同分布の単変量ガウス分布からのサンプルのみを要するようにランダムネス複雑度を最小限に抑えること、これは最適である。
• SDDシステムのほぼ線形作業量ソルバーの枠組みを、グラフィカルモデルにおけるサンプリング問題へ拡張すること。
• 任意の $ p \in [-1,1] $ に対して $ \mathbf{M}^p \approx \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T $ を満たす効率的かつスパースな因数分解を可能にするSDDM行列の特徴付けを提供すること。

提案手法

• SDDM行列のスペクトルスパーシフィケーションと反復的行列二乗化を用いて、スパースかつ低ランク近似 $ \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T \approx \mathbf{M}^p $ を構築する。
• 行列関数（例：$ (\mathbf{I} - \mathbf{X})^p $）の近似に、$ T_{-\frac{1}{2}p,t}(\cdot) $ を用いたチェビシェフ多項式近似を採用し、計算を効率化する。
• 各レベルで変換 $ T_{-\frac{1}{2}p,t_i}(\mathbf{I} + \frac{1}{2}\mathbf{X}_i) $ を適用する再帰的因数分解フレームワークを用いる。
• $ p = -1 $ の場合、$ \epsilon $-近似を得るための反復的精錬手順を、多項式条件付け子を用いて実行し、$ O(\log(1/\epsilon)) $ 次の多項式で実現する。
• 総誤差が $ \sum_{j=0}^d \epsilon_j $ に累積するように構成され、各ステップの誤差は $ \epsilon_j $-近似で抑えられる。
• 最終的な因子 $ \tilde{\mathbf{C}} $ は $ \mathbf{Z}_{-\frac{1}{2},0} $ として定義され、$ \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T \approx_{\sum \epsilon_j} \mathbf{M}^{-1} $ を満たす。

実験結果

リサーチクエスチョン

• RQ1 SDD精度行列をもつガウスグラフィカルモデルからのサンプリングにおいて、ほぼ線形の作業量と多対数の深さを達成できるか？
• RQ2 $ n $ 個の独立同分布の単変量ガウス分布からのサンプルのみを用いて、$ p \in [-1,1] $ に対してスパース因数分解 $ \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T \approx \mathbf{M}^p $ を構築できるか？
• RQ3 ほぼ線形SDDソルバーの枠組みを、グラフィカルモデルにおける効率的で並列可能なサンプリングに拡張できるか？
• RQ4 SDDMガウスフィールドからの並列サンプリングに必要な最小のランダムネス複雑度は何か？
• RQ5 反復的精錬技術を用いて、SDD行列の高精度な逆平方根因数分解を達成できるか？

主な発見

• アルゴリズムは、$ m $ 個の非ゼロ要素をもつSDDM行列に対して、並列マシン上でほぼ線形作業量 $ O(m \cdot \text{polylog}(m)) $ と多対数の深さ $ \text{polylog}(m) $ を達成する。
• $ n $ 次元のガウスランダムフィールドからのサンプルを生成するには、$ n $ 個の独立同分布の単変量ガウス分布からのサンプルのみを要する。これはランダムネス複雑度において最適である。
• 構築された因子 $ \tilde{\mathbf{C}} $ は、任意の $ p \in [-1,1] $ に対して $ \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T \approx_{\epsilon} \mathbf{M}^p $ を満たし、誤差は各レベルの近似誤差の和で抑えられる。
• $ p = -1 $ の場合、反復的精錬手順により $ \epsilon $-精度の逆因数分解を得るための多項式次数が $ O(\log(1/\epsilon)) $ で実現される。
• SDD行列（正定値でなくてもよい）へも、SDD行列とH行列の相互還元性を活用することで拡張可能である。
• 本アルゴリズムは、ランダムネスにおいて最適かつ作業量と深さにおいてほぼ最適な、SDDMガウスフィールドに対する初めての並列サンプリング手法を提供する。