[논문 리뷰] Fast Direct Methods for Gaussian Processes and the Analysis of NASA Kepler Mission Data

Sivaram Ambikasaran, Daniel Foreman-Mackey외 3명|arXiv (Cornell University)|2014. 03. 24.

Gaussian Processes and Bayesian Inference인용 수 21

한 줄 요약

이 논문은 공분산 행렬 C = σ²I + K를 블록 저질서 업데이트 방식으로 계층적으로 분해함으로써 O(n log²n)의 직접적 방법을 제안한다. 이를 통해 효율적인 행렬 역행렬 계산과 행렬식 평가가 가능해지며, 이는 고차원적 마진화와 하이퍼파rameter 적응을 단일 CPU 코어에서 실현 가능하게 한다. Kepler 미션 데이터를 바탕으로 성능이 입증되었다.

ABSTRACT

Abstract—A number of problems in probability and statistics can be addressed using the multivariate normal (or multivariate Gaussian) distribution. In the one-dimensional case, computing the probability for a given mean and variance simply requires the evaluation of the corresponding Gaussian density. In the n-dimensional setting, however, it requires the inversion of an n × n covariance matrix, C, as well as the evaluation of its determinant, det(C). In many cases, the covariance matrix is of the form C = σ2I + K, where K is computed using a specified kernel, which depends on the data and additional parameters (called hyperparameters in Gaussian process computations). The matrix C is typically dense, causing standard direct methods for inversion and determinant evaluation to require O(n3) work. This cost is prohibitive for large-scale modeling. Here, we show that for the most commonly used covariance functions, the matrix C can be hierarchically factored into a product of block low-rank updates of the identity matrix, yielding an O(n log2 n) algorithm for inversion, as discussed in Ambikasaran and Darve, 2013. More importantly, we show that this factorization enables the evaluation of the determinant det(C), permitting the direct calculation of probabilities in high dimensions under fairly broad assumption about the kernel defining K. Our fast algorithm brings many problems in marginalization and the adaptation of hyperparameters within practical reach using a single CPU core. The combination of nearly optimal scaling in terms of problem size with high-performance computing resources will permit the modeling of previously intractable problems. We illustrate the performance of the scheme on standard covariance kernels, and apply it to a real data set obtained from the Kepler Mission.

연구 동기 및 목표

• 대규모 문제에 대해 표준적인 O(n³) 가우시안 프로세스 방법의 계산 비용이 지나치게 높다는 문제를 해결한다.
• 다변량 가우시안 모델에서 행렬 역행렬과 행렬식 평가를 위한 빠른 직접 알고리즘을 개발한다.
• 고차원 환경에서 마진형 가능도와 하이퍼파rameter 적응을 위한 실용적인 계산을 가능하게 한다.
• 실제 천문학적 데이터인 Kepler 미션 데이터를 바탕으로 본 방법의 효과성을 입증한다.
• 일반적인 커널 함수에 대해 수치적 정확도를 유지하면서도 거의 최적의 O(n log²n) 스케일링을 달성한다.

제안 방법

• 공분산 행렬 C = σ²I + K를 항등행렬의 블록 저질서 업데이트로 표현하기 위해 계층적 행렬 분해 기법을 사용한다.
• 일반적인 커널 함수의 구조를 활용하여 행렬 K의 효율적 계층적 압축을 가능하게 한다.
• 직접적 분해 기법을 적용하여 C의 역행렬과 행렬식을 O(n log²n) 시간 내에 계산한다.
• 분해 과정 全 과정에서 저질서 구조를 유지함으로써 수치적 안정성과 정확도를 확보한다.
• 계산된 행렬식과 역행렬을 활용해 하이퍼파rameter 최적화를 위한 마진형 가능도를 평가한다.
• 분산 컴퓨팅에 의존하지 않고 단일 CPU 코어에서 알고리즘을 구현함으로써 확장성 확보.

실험 결과

연구 질문

• RQ1 일반적인 커널 함수에 대해 가우시안 프로세스 추론의 계산 비용을 O(n³)에서 O(n log²n)로 낮출 수 있는가?
• RQ2 계층적 저질서 구조를 활용해 밀도 공분산 행렬의 행렬식을 효율적으로 계산할 수 있는가?
• RQ3 정확도를 유지하면서도 직접적 행렬 역행렬과 행렬식 평가를 거의 선형 시간 내에 수행할 수 있는가?
• RQ4 제안된 방법이 대규모 데이터셋에서 실용적인 하이퍼파rameter 학습과 마진형 가능도 평가를 가능하게 하는가?
• RQ5 알고리즘이 Kepler 우주 망원경에서 유래한 실질적 고차원 데이터에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 방법은 일반적인 커널 함수에 대해 가우시안 프로세스 추론의 계산 비용을 O(n³)에서 O(n log²n)로 감소시킨다.
• 계층적 저질서 분해 기법은 행렬 역행렬과 행렬식의 정확하고 효율적인 평가를 가능하게 한다.
• 알고리즘은 직접적인 마진형 가능도 계산을 허용하여 대규모 데이터셋에서 하이퍼파rameter 적응을 용이하게 한다.
• 단일 CPU 코어에서 높은 성능을 발휘하여 이전에는 해결 불가능하다고 여겨졌던 문제들에 대해서도 실용적으로 적용 가능하다.
• 본 방법은 실제 Kepler 미션 데이터에 성공적으로 적용되어 확장성과 수치적 안정성을 입증하였다.
• 근사 최적의 스케일링을 유지함으로써 향후 고성능 컴퓨팅과의 통합을 통해 더욱 큰 문제들에 대한 적용이 가능해진다.