[논문 리뷰] Thoughts on Massively Scalable Gaussian Processes

Andrew Gordon Wilson, Christoph Dann외 1명|arXiv (Cornell University)|2015. 11. 05.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 76

한 줄 요약

이 논문은 원형 근사, 크로네커 및 토플리츠 구조 활용, 입력 공간 투영을 조합하여 $\frac{1}{2}$-순서 복잡도 감소를 달성하는 다량 스케일러블 가우시안 프로세스(MSGP) 프레임워크를 소개한다. 분산 컴퓨팅이나 엄격한 가정 없이도 수십억 개의 데이터 포인트에서 $\frac{1}{2}$-순서 추론 및 학습 복잡도($\frac{1}{2}$-순서 테스트 시간 예측)를 가능하게 하여, 확장 가능한 GP 추론과 커널 학습 분야에서 중대한 진전을 이룬다.

ABSTRACT

We introduce a framework and early results for massively scalable Gaussian processes (MSGP), significantly extending the KISS-GP approach of Wilson and Nickisch (2015). The MSGP framework enables the use of Gaussian processes (GPs) on billions of datapoints, without requiring distributed inference, or severe assumptions. In particular, MSGP reduces the standard $O(n^3)$ complexity of GP learning and inference to $O(n)$, and the standard $O(n^2)$ complexity per test point prediction to $O(1)$. MSGP involves 1) decomposing covariance matrices as Kronecker products of Toeplitz matrices approximated by circulant matrices. This multi-level circulant approximation allows one to unify the orthogonal computational benefits of fast Kronecker and Toeplitz approaches, and is significantly faster than either approach in isolation; 2) local kernel interpolation and inducing points to allow for arbitrarily located data inputs, and $O(1)$ test time predictions; 3) exploiting block-Toeplitz Toeplitz-block structure (BTTB), which enables fast inference and learning when multidimensional Kronecker structure is not present; and 4) projections of the input space to flexibly model correlated inputs and high dimensional data. The ability to handle many ($m \approx n$) inducing points allows for near-exact accuracy and large scale kernel learning.

연구 동기 및 목표

• 표준 가우시안 프로세스의 계산 불가능성 문제를 해결하기 위해 $n > 10^5$ 규모의 대규모 데이터셋에서 $\tfrac{1}{2}$-순서 복잡도를 초래하는 것.
• m \ll n 를 요구하는 유도점 방법의 한계를 극복하여 예측 정확도 저하와 커널 학습 방해를 방지하기 위한 것.
• 분산 추론 없이도 near-exact한 $\tfrac{1}{2}$-순서 테스트 시간 예측($\tfrac{1}{2}$-순서 당 포인트)을 가능하게 하기 위한 것.
• KISS-GP를 고차원 입력($D \gg 5$)과 크로네커 분해를 초월한 일반적인 다차원 구조로 확장하기 위한 것.
• 다단계 원형 구조를 사용한 빠르고 정확한 로그 행렬식 근사화를 통한 확장 가능한 커널 학습 지원하기 위한 것.

제안 방법

• 원형 행렬로 근사된 토플리츠 행렬의 크로네커 곱으로 공분산 행렬을 분해하여, 빠른 크로네커 및 토플리츠 방법의 계산적 이점을 통합한다.
• 국소 커널 보간과 유도점 기반으로 임의로 위치한 입력에 대해 $\tfrac{1}{2}$-순서 테스트 시간 예측을 가능하게 한다.
• 블록-토플리츠-토플리츠-블록(BTTB) 구조를 활용하여 다차원 크로네커 구조가 없는 경우에도 빠르고 정확한 추론과 학습을 가능하게 한다.
• 고차원 입력을 저차원 부분공간으로 매핑하기 위해 학습된 $d \times D$ 행렬 $P$ 를 사용한 입력 공간 투영을 적용하여 확장 가능한 GP 모델링을 가능하게 한다.
• 제약 조건(예: 단위 스케일링)을 적용하여 $P$ 와 커널 초모수 간의 탈선 문제를 방지하면서, $P$ 를 커널 초모수와 함께 우도 최대화를 통해 동시에 최적화한다.
• 핵심적으로 효율적인 커널 학습과 우도 최적화를 위해 빠른 로그 행렬식 평가를 가능하게 하는 원형 근사화를 활용한다.

실험 결과

연구 질문

• RQ1 분산 컴퓨팅이나 제한적인 가정 없이도, $\tfrac{1}{2}$-순서 복잡도로 수십억 개의 데이터 포인트에서 가우시안 프로세스 추론과 학습을 스케일링할 수 있는가?
• RQ2 원형 근사화가 크로네커와 토플리츠 구조의 이점을 통합하여 커널 학습과 로그 행렬식 계산을 가속화할 수 있는가?
• RQ3 크로네커 분해가 적용되지 않는 다차원 환경에서 BTTB 구조를 활용하여 빠르고 정확한 추론을 가능하게 할 수 있는가?
• RQ4 입력 공간 투영을 통해 KISS-GP가 $\tfrac{1}{2}$-순서 테스트 시간 복잡도로 고차원, 격자 구조가 아닌 데이터를 모델링할 수 있는가?
• RQ5 투영 행렬과 커널 초모수를 함께 최적화함으로써 참값의 저차원 부분공간을 복원하면서도 대규모 환경에서 예측 정확도를 유지할 수 있는가?

주요 결과

• MSGP는 각 테스트 포인트에 대해 $\tfrac{1}{2}$-순서 평균 및 분산 예측을 달성하여 표준 GP의 복잡도를 $\tfrac{1}{2}$-순서에서 $\tfrac{1}{2}$-순서로 감소시킨다.
• 분산 추론 없이도 $n \approx 10^9$ 개의 데이터 포인트에서 near-exact한 추론 및 학습을 $\tfrac{1}{2}$-순서 복잡도로 지원하여 대규모 커널 학습을 가능하게 한다.
• D = 40까지의 부분공간 재구성 오차는 낮게 유지됨(dist $< 0.1$)하며, SMAE 오차는 D = 40까지 참 GP 기준선과 경쟁 가능하다.
• D = 100일 때조차도 MSGP는 고차원 입력에서 표준 정확한 GP보다 뚜렷이 승리하며, 입력 차원에 대한 강건성을 입증한다.
• 단위 스케일링된 투영 행렬은 $P$ 와 커널 초모수 간의 탈선 문제를 방지하여 수치적 안정성과 성능을 향상시킨다.
• 원형 근사화는 정확하고 빠른 로그 행렬식 평가를 가능하게 하여, 1차원 및 다차원 환경에서 우도 최적화와 커널 학습을 가속화한다.