[論文レビュー] Large-scale Log-determinant Computation through Stochastic Chebyshev Expansions

In‐Su Han, Dmitry Malioutov+1 more|arXiv (Cornell University)|Mar 22, 2015

Gaussian Processes and Bayesian Inference参考文献 28被引用数 36

ひとこと要約

本稿では、ハッチンソン法を用いた確率的トレース推定とチェビシェフ多項式展開を組み合わせることで、大規模な正定値行列および一般の非特異行列の対数行列式を近似する線形時間の確率的アルゴリズムを提案する。この手法は、コレスキー分解よりも桁違いに少ない時間で高精度な近似を達成でき、条件数とサンプリングパラメータに依存する厳密な誤差境界を備えている。

ABSTRACT

Logarithms of determinants of large positive definite matrices appear ubiquitously in machine learning applications including Gaussian graphical and Gaussian process models, partition functions of discrete graphical models, minimum-volume ellipsoids, metric learning and kernel learning. Log-determinant computation involves the Cholesky decomposition at the cost cubic in the number of variables, i.e., the matrix dimension, which makes it prohibitive for large-scale applications. We propose a linear-time randomized algorithm to approximate log-determinants for very large-scale positive definite and general non-singular matrices using a stochastic trace approximation, called the Hutchinson method, coupled with Chebyshev polynomial expansions that both rely on efficient matrix-vector multiplications. We establish rigorous additive and multiplicative approximation error bounds depending on the condition number of the input matrix. In our experiments, the proposed algorithm can provide very high accuracy solutions at orders of magnitude faster time than the Cholesky decomposition and Schur completion, and enables us to compute log-determinants of matrices involving tens of millions of variables.

研究の動機と目的

• 大規模な機械学習応用において、コレスキー分解による正確な対数行列式計算が計算的に非現実的であることを解決すること。
• 高次元設定における対数行列式近似のためのスケーラブルで正確かつ並列化可能なアルゴリズムを開発すること。
• 行列の条件数、サンプリングサイズ、多項式の次数に依存する、厳密な加法的および乗法的誤差境界を確立すること。
• 一般の非特異行列への拡張を可能にし、対数行列式の絶対値を計算すること。
• 実データおよび合成データを用いた実験を通じて、最大2500万変数の行列について実用的なスケーラビリティと正確性を示すこと。

提案手法

• 対数行列式を行列級数のトレースとして近似するために、チェビシェフ多項式展開を用いる。
• 行列のトレース推定に確率的トレース推定法（ハッチンソン法）を適用し、ランダムベクトルと効率的な行列-ベクトル積を用いる。
• アルゴリズムは、非ゼロ要素数に比例する線形時間の計算量を達成するため、行列-ベクトル積の計算を効率的に行えることに依存する。
• 非対称または正定値でない行列の場合、行列の対称部の対数行列式を計算するか、適切な変換を用いて絶対値を扱う。
• ランダムベクトルとの独立な行列-ベクトル積に依存しているため、並列化が可能である。
• 誤差境界は、行列の条件数、多項式の次数、ランダムサンプル数に基づいて導出される。

実験結果

リサーチクエスチョン

• RQ1 確率的アルゴリズムは、大規模な行列に対して線形時間で高精度な対数行列式近似を達成できるか？
• RQ2 条件数とサンプリングパラメータは、提案手法における近似誤差にどのように影響するか？
• RQ3 理論的誤差保証を維持したまま、一般の非特異行列へ拡張可能か？
• RQ4 収束性と正確性の観点から、チェビシェフベースの近似はテイラー展開ベースの代替手法より優れているか？
• RQ5 数千万変数の行列に対して、サブ秒の実行時間でスケーリング可能か？

主な発見

• 提案アルゴリズムは、コンmodityコンピュータ1台で2500万変数の行列の対数行列式を数分で計算でき、コレスキー分解をはるかに上回る性能を示した。
• 条件数がO(1)の行列に対して、任意の定数ε > 0について、ε-近似保証（加法的または乗法的）を線形時間で達成できる。
• 大規模なスパース行列に対して、正確なコレスキー分解と比較して99.9％の精度で対数行列式を近似した。
• 実験では、1000個のサンプルでさえも、テイラー級数に基づく確率的トレース推定法を上回る正確性を示した。
• 5000×5000のガウスマルコフランダムフィールド（2500万変数）において、最大尤度推定を成功裏に実行し、隠れたパラメータρ = -0.22を正しく同定した。
• 強力なスケーラビリティと並列性を示し、分散システムを用いることでさらに大規模な行列へのスケーリングが可能である。