[논문 리뷰] Constant-Time Predictive Distributions for Gaussian Processes

Geoff Pleiss, Jacob R. Gardner외 2명|arXiv (Cornell University)|2018. 03. 16.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 16

한 줄 요약

이 논문은 라ン츠로스 알고리즘을 사용하여 예측 공분산 행렬을 상수 시간에 계산하고, 가우시안 프로세스에서 빠른 샘플링을 가능하게 하는 LOVE(LanczOs Variance Estimates)라는 방법을 소개한다. 저랭크 분해를 통해 커널 행렬을 근사화함으로써, LOVE는 기존 방법 대비 예측 분산 계산을 최대 2,000배 빠르게 하고, 샘플링을 최대 18,000배 빠르게 하면서도 거의 정확한 정확도를 유지하며, 학습 데이터 크기와 관계없이 상수 시간 복잡도를 유지한다.

ABSTRACT

One of the most compelling features of Gaussian process (GP) regression is its ability to provide well-calibrated posterior distributions. Recent advances in inducing point methods have sped up GP marginal likelihood and posterior mean computations, leaving posterior covariance estimation and sampling as the remaining computational bottlenecks. In this paper we address these shortcomings by using the Lanczos algorithm to rapidly approximate the predictive covariance matrix. Our approach, which we refer to as LOVE (LanczOs Variance Estimates), substantially improves time and space complexity. In our experiments, LOVE computes covariances up to 2,000 times faster and draws samples 18,000 times faster than existing methods, all without sacrificing accuracy.

연구 동기 및 목표

• 기존의 스케일러블 인덕팅 포인트 방법조차도 여전히 비용이 많이 드는 예측 공분산 추정 및 샘플링의 계산적 병목 현상을 해결하기 위해.
• 학습 데이터 크기와 관계없이 예측 분산의 상수 시간 계산과 선형 시간 샘플링을 가능하게 하기 위해.
• 계산 복잡도를 극적으로 줄이면서도 정확한 불확실성 추정을 유지하기 위해.
• 기존의 인덕팅 포인트 프레임워크(예: KISS-GP)와 호환되는 확장 가능하고 수치적으로 안정적이며 GPU 우수한 솔루션을 제공하기 위해.

제안 방법

• 커널 행렬의 삼중대각화를 위해 라ン츠로스 알고리즘을 활용하여 행렬 역행렬의 효율적 근사를 가능하게 한다.
• 예측 공분산을 사전에 계산된 행렬 C를 포함하는 이차형식으로 표현하며, 이 C는 라ン츠로스를 통해 저랭크 요소 R과 R'로 분해된다.
• 라운츠로스 분해의 구조를 활용하여, k가 라운츠로스 반복 횟수일 때, 항목당 O(k) 시간 내에 분산을 계산한다.
• 부동소수점 산술에서 직교성 손실을 방지하기 위해 전체 재정규화(full reorthogonalization)를 적용하여 수치적 안정성을 유지한다.
• 라운츠로스 분해를 캐시하여 여러 테스트 포인트에 걸쳐 반복적으로 빠른 분산 및 샘플 계산을 가능하게 한다.
• 샘플링을 O(ks(t + m)) 시간 내에 수행할 수 있도록 방법을 확장하며, 여기서 t는 테스트 포인트 수, s는 샘플 수이다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스에서 예측 공분산 계산을 정확도를 희생시키지 않고 상수 시간으로 줄일 수 있는가?
• RQ2 학습 데이터 크기와 관계없이 예측 분포에서의 빠르고 정확한 샘플링을 선형 시간 내에 달성할 수 있는가?
• RQ3 라운츠로스 알고리즘이 GP 추론 맥락에서 커널 행렬 역행렬의 효율적 근사를 어떻게 가능하게 하는가?
• RQ4 라운츠로스 반복 과정에서 발생하는 수치적 불안정성의 영향은 무엇이며, 실무에서 이를 어떻게 완화할 수 있는가?
• RQ5 LOVE는 KISS-GP를 초월한 다른 인덕팅 포인트 방법으로까지 일반화될 수 있는가?

주요 결과

• LOVE는 기존 방법 대비 예측 분산 계산을 최대 2,000배 빠르게 하며, 정확한 값과 오차가 10^-4 이내이다.
• LOVE는 정확한 GP 샘플링 대비 예측 분포에서 샘플링을 최대 18,000배 빠르게 하면서도 진정한 사후분포와 높은 일치도를 유지한다.
• LOVE는 학습 포인트 수 n과 관계없이 상수 시간 분산 계산(O(k))과 선형 시간 샘플링(O(ks(t + m)))를 달성한다.
• Eggholder 벤치마크에서 LOVE의 샘플링 분포는 정확한 GP 분포와 매우 유사하며, 정확한 샘플링보다 700배 빠르게 작동한다.
• 실제로 수치적으로 안정적이며, 전체 재정규화가 라운츠로스 벡터의 직교성 손실을 효과적으로 복구한다.
• LOVE는 다른 인덕팅 포인트 방법과 호환되며, 빠른 행렬-벡터 곱셈을 지원하는 모든 GP 프레임워크에 적용 가능하다.