[논문 리뷰] Scalable Gaussian Processes with Grid-Structured Eigenfunctions (GP-GRIEF)

Trefor W. Evans, Prasanth B. Nair|arXiv (Cornell University)|2018. 07. 05.

Gaussian Processes and Bayesian Inference인용 수 12

한 줄 요약

GP-GRIEF는 조밀한 카르테시안 격자에 배치된 유도점에 대해 니스트룀 근사법을 통해 유도된 격자 구조의 고유함수를 사용하는 확장 가능한 가우시안 프로세스 방법을 제안한다. 크로네커 곱과 카트리-라오 곱 대수를 활용하여, 유도점의 수 $m$과 무관하게 로그 우도의 평가에 대해 $Ó(p)$의 시간 및 메모리 복잡도를 달성함으로써, $m \gg n$ 조건에서도 정확한 커널 근사가 가능하고, 최대 200만 개의 데이터 포인트까지의 유형-I 베이지안 추론을 지원한다.

ABSTRACT

We introduce a kernel approximation strategy that enables computation of the Gaussian process log marginal likelihood and all hyperparameter derivatives in $\mathcal{O}(p)$ time. Our GRIEF kernel consists of $p$ eigenfunctions found using a Nystrom approximation from a dense Cartesian product grid of inducing points. By exploiting algebraic properties of Kronecker and Khatri-Rao tensor products, computational complexity of the training procedure can be practically independent of the number of inducing points. This allows us to use arbitrarily many inducing points to achieve a globally accurate kernel approximation, even in high-dimensional problems. The fast likelihood evaluation enables type-I or II Bayesian inference on large-scale datasets. We benchmark our algorithms on real-world problems with up to two-million training points and $10^{33}$ inducing points.

연구 동기 및 목표

• 입력 차원 $d$에 따라 지수적으로 증가하는 복잡도를 가지는 구조화된 유도점 방법의 차원의 극복을 위해.
• 유도점의 수 $m$에 대한 계산 의존성을 제거하여, 고정밀도 커널 근사에 위해 $m \gg n$ 조건을 허용하기 위해.
• 로그 우도 및 하이퍼파ram터 도함수를 $Ó(p)$ 시간 내에 계산할 수 있도록 하여, 대규모 데이터셋에서 효율적인 유형-I 베이지안 추론을 가능하게 하기 위해.
• 고유함수 가중치를 이용한 커널 재매개변수화를 개발하여, 민감하고 원칙적인 베이지안 추론을 지원하기 위해.
• 실제 데이터셋에서 최대 200만 개의 학습 포인트와 $m = 10^{33}$개의 유도점을 포함하여, 방법의 확장성과 정확성을 입증하기 위해.

제안 방법

• 메서드는 조밀한 카르테시안 곱 격자에 배치된 유도점에 대해 니스트룀 근사법을 적용하여 $p$개의 고유함수를 계산하고, 이를 커널 근사에 활용한다.
• 크로네커 곱과 카트리-라오 곱의 대수적 성질을 활용하여 큰 커널 행렬을 저차원 연산으로 분해함으로써 복잡도를 $Ó(p)$로 감소시킨다.
• 고유함수 기저를 사용하여 커널을 재매개변수화함으로써, 로그 우도 및 모든 $p+1$개의 하이퍼파ram터 도함수를 $Ó(p)$ 시간 내에 계산할 수 있다.
• 커널을 고유함수의 가중합으로 표현하는 민감한 매개변수화 방식을 사용하여, MCMC를 통한 유형-I 베이지안 추론을 가능하게 한다.
• 동일한 대수적 프레임워크에서 일반 커널 행렬을 위한 효율적인 조건부 행렬을 유도하여 적용 범위를 확장한다.
• 유형-I(완전 베이지안) 및 유형-II(경험 베이지안) 추론을 모두 지원하며, 유형-I은 기저 함수 가중치에 대한 MCMC 샘플링을 사용한다.

실험 결과

연구 질문

• RQ1 구조화된 유도점 GPs의 계산 복잡도를 유도점의 수 $m$과 실질적으로 독립적으로 만들 수 있는가?
• RQ2 크로네커 곱과 카트리-라오 곱의 구조를 활용하여 차원 수 $d$에 따른 지수적 증가를 줄일 수 있는가?
• RQ3 매우 많은 수의 유도점 $m$이 더 정확한 전역 커널 근사로 이어지며, 이를 효율적으로 계산할 수 있는가?
• RQ4 고유함수 기반 커널 근사가 대규모 데이터셋에서 효율적인 유형-I 베이지안 추론을 가능하게 하는가?
• RQ5 실제 데이터셋에서 최대 200만 개의 학습 포인트와 $m = 10^{33}$개의 유도점을 포함하여, 이 방법의 성능은 어떠한가?

주요 결과

• GP-GRIEF는 로그 우도 평가에 대해 $m$과 무관하게 $Ó(p)$의 시간 및 메모리 복잡도를 달성하여, $m = 10^{33}$개의 유도점 조건에서도 효율적인 학습이 가능하다.
• 작은 데이터셋($n < 2000$)에서 정확한 GP 및 기타 근사 방법보다 우수한 성능을 보이며, GP-GRIEF-I는 베이지안 정규화 덕분에 뛰어난 강건성을 보였다.
• 최대 200만 개의 포인트를 포함하는 대규모 데이터셋에서 GP-GRIEF-II 및 GP-GRIEF-I는 Fastfood 근사 방법을 사용하는 최첨단 방법들과 비교해도 테스트 오차가 유사하거나 더 낮았다.
• 200만 개의 포인트를 포함하는 전기 데이터셋에 대해 MCMC 기반 유형-I 베이지안 추론이 단 25분 내에 완료되어, 완전 베이지안 GP 추론의 실용적 확장성을 입증했다.
• 니스트룀 고유함수 근사가 $m$이 매우 클 경우 진짜 커널 고유함수로 수렴함을 확인하여, 이 방법의 이론적 기반을 검증했다.
• 이 방법의 계산 효율성 덕분에 $m \gg n$ 조건을 사용할 수 있어, 학습 데이터에서 멀리 떨어진 테스트 포인트에서도 정확한 전역 커널 근사를 가능하게 했다.