[論文レビュー] Fast Direct Methods for Gaussian Processes and the Analysis of NASA Kepler Mission Data

Sivaram Ambikasaran, Daniel Foreman-Mackey+3 more|arXiv (Cornell University)|Mar 24, 2014

Gaussian Processes and Bayesian Inference被引用数 21

ひとこと要約

本稿では、共分散行列 C = σ²I + K を段階的低ランク更新として恒等行列の積に因数分解することにより、O(n log²n) の直接法を用いたガウス過程推論を提示する。この手法により、行列の逆行列計算と行列式の評価が効率的に行える。近似的に最適なスケーリングを達成し、1つのCPUコア上でも高次元の周辺化とハイパーパramータの適応が可能となる。ケプラー宇宙望遠鏡のデータを用いた実験でその有効性が示された。

ABSTRACT

Abstract—A number of problems in probability and statistics can be addressed using the multivariate normal (or multivariate Gaussian) distribution. In the one-dimensional case, computing the probability for a given mean and variance simply requires the evaluation of the corresponding Gaussian density. In the n-dimensional setting, however, it requires the inversion of an n × n covariance matrix, C, as well as the evaluation of its determinant, det(C). In many cases, the covariance matrix is of the form C = σ2I + K, where K is computed using a specified kernel, which depends on the data and additional parameters (called hyperparameters in Gaussian process computations). The matrix C is typically dense, causing standard direct methods for inversion and determinant evaluation to require O(n3) work. This cost is prohibitive for large-scale modeling. Here, we show that for the most commonly used covariance functions, the matrix C can be hierarchically factored into a product of block low-rank updates of the identity matrix, yielding an O(n log2 n) algorithm for inversion, as discussed in Ambikasaran and Darve, 2013. More importantly, we show that this factorization enables the evaluation of the determinant det(C), permitting the direct calculation of probabilities in high dimensions under fairly broad assumption about the kernel defining K. Our fast algorithm brings many problems in marginalization and the adaptation of hyperparameters within practical reach using a single CPU core. The combination of nearly optimal scaling in terms of problem size with high-performance computing resources will permit the modeling of previously intractable problems. We illustrate the performance of the scheme on standard covariance kernels, and apply it to a real data set obtained from the Kepler Mission.

研究の動機と目的

• 大規模問題に対して標準的な O(n³) ガウス過程手法が計算的に非現実的であるという問題に対処する。
• 多次元ガウスモデルにおける行列の逆行列計算と行列式評価のための高速で直接的なアルゴリズムを開発する。
• 高次元設定における周辺尤度とハイパーパramータの適応の実用的計算を可能にする。
• ケプラー宇宙望遠鏡の実世界の天文学的データを用いて、本手法の有効性を実証する。
• 一般的なカーネル関数に対して、数値的精度を保ちながら近似的に最適な O(n log²n) スケーリングを達成する。

提案手法

• 共分散行列 C = σ²I + K を、恒等行列のブロック低ランク更新の積として表現するための段階的行列因数分解を用いる。
• 一般的なカーネル関数の構造を活用して、行列 K の段階的圧縮を効率的に行う。
• 直接的因数分解手法を適用し、C の逆行列と行列式を O(n log²n) 時間で計算する。
• 因数分解プロセス中に低ランク構造を保持することで、数値的安定性と精度を確保する。
• 計算された行列式と逆行列を用いて、ハイパーパramータ最適化のための周辺尤度を評価する。
• 分散処理に依存せずに、1つのCPUコア上でアルゴリズムを実装することでスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 標準的なカーネル関数に対して、ガウス過程推論の計算コストを O(n³) から O(n log²n) に低減できるか？
• RQ2 段階的低ランク構造を用いて、密行列の行列式を効率的に計算できるか？
• RQ3 近似的に線形時間に近い O(n log²n) 時間で直接的な行列の逆行列計算と行列式評価が可能で、かつ精度を保てるか？
• RQ4 提案手法により、大規模データセット上での実用的なハイパーパramータ学習と周辺尤度評価が可能か？
• RQ5 本アルゴリズムは、ケプラー宇宙望遠鏡の実世界の高次元データに効果的に適用可能か？

主な発見

• 提案手法により、一般的なカーネル関数に対してガウス過程推論の計算コストが O(n³) から O(n log²n) に低減された。
• 段階的低ランク因数分解により、行列の逆行列と行列式の両方を正確かつ効率的に評価できるようになった。
• アルゴリズムにより周辺尤度の直接計算が可能となり、大規模データセット上でのハイパーパramータの適応が促進された。
• 1つのCPUコア上でも高い性能を発揮し、かつて計算不能とされていた問題に対しても実用的となった。
• 本手法は実際のケプラー宇宙望遠鏡のデータに成功裏に適用され、スケーラビリティと数値的ロバスト性が実証された。
• 近似的に最適なスケーリングを維持しており、将来的に高性能コンピューティングと統合することで、さらに大規模な問題への対応が可能となる。