[논문 리뷰] Variational Fourier features for Gaussian processes

James Hensman, Nicolas Durrande외 1명|arXiv (Cornell University)|2016. 11. 21.

Gaussian Processes and Bayesian Inference참고 문헌 71인용 수 97

한 줄 요약

이 논문은 정규로 배열된 푸리에 주파수를 사용하는 스펙트럼 표현과 변분 추론을 조합한 새로운 가우시안 프로세스 근사인 변분 푸리에 특징(Variational Fourier Features, VFF)을 소개한다. 재생 커널 힐버트 공간(RKHS) 프레임워크를 통해 GP를 유한 도메인에 투영함으로써, VFF는 O(NM)의 계산 복잡도를 달성한다. 이는 표준 희소 GP 방법의 O(NM²)에 비해 상당히 빠르며, 높은 정확도와 확장성을 유지하여 표준 랩탑에서 400만 개 데이터 포인트에 대한 추론을 몇 분 내에 수행할 수 있다.

ABSTRACT

This work brings together two powerful concepts in Gaussian processes: the variational approach to sparse approximation and the spectral representation of Gaussian processes. This gives rise to an approximation that inherits the benefits of the variational approach but with the representational power and computational scalability of spectral representations. The work hinges on a key result that there exist spectral features related to a finite domain of the Gaussian process which exhibit almost-independent covariances. We derive these expressions for Matern kernels in one dimension, and generalize to more dimensions using kernels with specific structures. Under the assumption of additive Gaussian noise, our method requires only a single pass through the dataset, making for very fast and accurate computation. We fit a model to 4 million training points in just a few minutes on a standard laptop. With non-conjugate likelihoods, our MCMC scheme reduces the cost of computation from O(NM2) (for a sparse Gaussian process) to O(NM) per iteration, where N is the number of data and M is the number of features.

연구 동기 및 목표

• 데이터 크기 N에 따라 세제곱적으로 증가하는 계산 병목 현상을 해결하기 위해, 밀도 있는 공분산 행렬 연산으로 인해 발생하는 가우시안 프로세스 모델의 계산 비용 문제를 해결한다.
• 유도 포인트에 의존하는 기존의 희소 GP 방법의 한계를 극복하기 위해, 비공액 조건부 확률 밀도에서 높은 계산 비용을 유발하는 문제를 해결한다.
• 스펙트럼 방법의 표현 능력을 활용하면서도 변분 추론의 이론적 엄밀성을 유지하는 확장 가능한 정확한 GP 근사 방법을 개발한다.
• 단일 통과 알고리즘을 통해 공액 및 비공액 조건부 확률 모두에 대해 대규모 데이터셋(예: 400만 포인트)에 대한 효율적인 추론을 가능하게 한다.
• 거의 상호독립적인 공분산 구조를 갖는 푸리에 특징을 구성함으로써, 근사 품질을 손상시키지 않으면서도 빠르고 확장 가능한 계산을 가능하게 한다.

제안 방법

• 유한 도메인 윈도잉 기법과 RKHS 투영을 조합하여, Matérn 커널의 스펙트럼 표현에서 유한 분산을 갖는 유효한 유도 특징을 생성한다.
• 균일한 주파수 격자를 사용한 푸리에 특징을 구성함으로써, 구조화되고 분해 가능한 공분산 행렬을 보장한다.
• RKHS 내적을 사용하여 1차원에서 Matérn-1/2, 3/2, 5/2 커널에 대해 푸리에 특징 간의 그램 행렬에 대한 폐쇄형 표현을 유도한다.
• 푸리에 특징을 기저로 사용하여, 진정한 GP 사후분포와의 KL 발산을 최소화하는 변분 추론을 적용한다.
• 덧셈 및 곱셈 커널 구조를 활용하여 다차원 입력으로의 일반화를 수행함으로써 계산 효율성을 유지한다.
• 비공액 조건부 확률에 대해, 반복당 비용을 O(NM²)에서 O(NM)으로 감소시키는 MCMC 기법을 설계하여 대규모 사후분포 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 푸리에 특징이 무한 분산 문제를 야기하므로, 계산적으로 효율적이고 통계적으로 타당한 유도 특징 집합을 어떻게 구성할 수 있는가?
• RQ2 유한 도메인과 RKHS 투영에서 유도된 푸리에 특징 간의 공분산 행렬의 구조는 어떠한가? 그리고 이를 효율적으로 분해할 수 있는가?
• RQ3 유도 포인트 대신 구조화된 푸리에 특징을 사용함으로써, 변분 가우시안 프로세스 추론에서 O(NM)의 계산 복잡도를 달성할 수 있는가?
• RQ4 제안된 방법은 비공액 조건부 확률을 가진 대규모 데이터셋에 어떻게 스케일링되며, MCMC 반복당 계산 비용은 얼마인가?
• RQ5 스펙트럼 표현과 변분 추론의 조합은 실세계의 대규모 데이터셋에서 정확하고 빠른 방법을 제공할 수 있는가?

주요 결과

• 제안된 변분 푸리에 특징(Variational Fourier Features, VFF)은 반복당 O(NM)의 계산 복잡도를 달성하여, 표준 희소 GP 방법의 O(NM²)에 비해 상당한 향상이 이루어졌다.
• 균일한 주파수 격자와 RKHS 투영을 사용함으로써, 거의 상호독립적인 공분산 구조를 갖는 푸리에 특징을 구성하여, 빠른 행렬 연산을 가능하게 하였다.
• VFF는 표준 랩탑에서 400만 개의 훈련 포인트에 대한 추론을 몇 분 내에 수행할 수 있어 놀라운 확장성을 입증하였다.
• 비공액 조건부 확률에 대해, MCMC 기법은 반복당 비용을 O(NM²)에서 O(NM)으로 감소시켜 대규모 사후분포 추론을 실현 가능하게 하였다.
• 토이 예제와 실증 실험을 통해 매우 낮은 근사 오차로 높은 정확도를 달성하였으며, 특히 Matérn-3/2 및 Matérn-5/2 커널에서 뛰어난 성능을 보였다.
• 모든 Matérn 커널에 대해 푸리에 특징 간의 그램 행렬에 대한 폐쇄형 표현을 유도하여, 변분 목표 함수의 정확하고 효율적인 계산을 가능하게 하였다.