[논문 리뷰] Sparse Gaussian Processes with Spherical Harmonic Features

Vincent Dutordoir, Nicolas Durrande외 1명|arXiv (Cornell University)|2020. 06. 30.

Gaussian Processes and Bayesian Inference인용 수 16

한 줄 요약

이 논문은 입력 데이터를 단위 초구면으로 매핑하고 구면 조화 함수 기저 함수를 사용하여 빠르고 확장 가능한 추론을 가능하게 하는 희소 가우시안 프로세스 방법인 구면 조화 함수를 통한 변분 추론(VISH)을 소개한다. 구면에서 정적 커널의 머서 표현을 활용함으로써, 유도 변수 간에 대각 행렬 공분산을 달성하여 추론 복잡도를 감소시키고, 표준 희소 GP보다 100배 이상 빠르게 600만 개의 데이터 포인트를 포함한 데이터셋에서 학습하면서도 최신 기술 수준의 정확도를 유지한다.

ABSTRACT

We introduce a new class of inter-domain variational Gaussian processes (GP) where data is mapped onto the unit hypersphere in order to use spherical harmonic representations. Our inference scheme is comparable to variational Fourier features, but it does not suffer from the curse of dimensionality, and leads to diagonal covariance matrices between inducing variables. This enables a speed-up in inference, because it bypasses the need to invert large covariance matrices. Our experiments show that our model is able to fit a regression model for a dataset with 6 million entries two orders of magnitude faster compared to standard sparse GPs, while retaining state of the art accuracy. We also demonstrate competitive performance on classification with non-conjugate likelihoods.

연구 동기 및 목표

• 희소 가우시안 프로세스에서 차원의 극복 문제를 해결하기 위해 새로운 도메인 간 변분 GP 프레임워크를 도입한다.
• 고차원 입력 공간에서 큰 공분산 행렬의 역행렬을 계산하는 계산적 병목 현상을 피하는 확장 가능한 추론 방법을 개발한다.
• 유도 변수를 위한 기저 함수로 구면 조화 함수를 활용하여 전역적 영향력과 효율적인 계산을 보장한다.
• 예측 정확도가 최신 기술 수준의 모델과 유사한 수준을 유지하면서도 대규모 데이터셋(예: 600만 개 데이터 포인트)에서의 빠른 학습을 가능하게 한다.
• 마르틴 가족의 커널을 넘어서, 초구면에서의 임의의 정적 커널을 지원하도록 일반화한다.

제안 방법

• 편향을 포함한 입력 표현을 사용하여 입력 데이터를 선형적으로 단위 초구면 $\mathbb{S}^{d-1}$에 매핑한다.
• 유도 변수를 위한 기저 함수로 구면 조화 함수를 사용하며, 이는 초구면에서 정적 커널의 고유 함수이다.
• 구면 조화 함수 기반 특징을 사용하여 변분 근사를 구성함으로써, 유도 변수 간에 대각 공분산 행렬을 도출한다.
• 정적 커널의 머서 표현을 활용하여, 구면 도메인의 커널 행렬이 대각화 가능함을 보장한다.
• 근사 후보 분포와 진짜 후보 분포 간의 쿨백-라이블러 발산을 최소화하는 변분 추론을 수행하며, 계산 복잡도는 $\mathcal{O}(M^2N + N)$으로 감소된다.
• 선형 투영의 역함수를 사용하여 예측을 구면 도메인에서 원래의 입력 공간으로 다시 매핑한다.

실험 결과

연구 질문

• RQ1 고차원 입력 공간에서 차원의 극복 문제를 피할 수 있는 희소 GP 프레임워크를 구면 조화 함수로 구성할 수 있는가?
• RQ2 구면 조화 함수 기반 특징을 사용하면 유도 변수 간에 대각 공분산 행렬을 도출할 수 있는가? 이는 기존 방법보다 더 빠른 추론을 가능하게 하는가?
• RQ3 제안된 방법은 대규모 데이터셋(예: 600만 개 포인트)에서도 최신 기술 수준의 모델과 유사한 예측 정확도를 유지하면서 확장 가능한가?
• RQ4 회귀 및 분류 과제에서 VFF 및 표준 희소 GP(SVGP)와 비교해 성능가 어떻게 되는가?
• RQ5 이 방법은 마르틴 가족의 커널에 국한되지 않고, 초구면에서의 임의의 정적 커널에도 일반화 가능한가?

주요 결과

• VISH는 단일 소비자 GPU에서 600만 개 포인트를 포함한 회귀 데이터셋에 대해 41.0 ± 0.81초 내에 추론을 수행했으며, 이는 표준 희소 GP(SVGP) 대비 두 개의 지수 차수 빠른 성능 향상을 의미한다.
• UCI HEPMASS 데이터셋에서 NLPD 측정치에서 VFF 및 SVGP를 초월했으며, MSE 측정치에서도 오차 범위 내에서 유사한 성능을 기록했다. 660개의 유도 변수를 사용한 모델이 경쟁 가능한 성능을 달성했다.
• SUSY 분류 벤치마크에서 VISH는 AuC 0.859 ± 0.001을 기록했으며, 제곱 지수 커널을 사용한 SVGP(0.852 ± 0.002)를 능가했고, 5층의 딥 네트워크와 동등한 성능을 보였다.
• 구면 조화 함수의 사용으로 인해 유도 변수 간에 대각 공분산 행렬이 도출되어 큰 행렬의 역행렬 계산이 필요 없어졌으며, 이로 인해 더 빠른 추론이 가능해졌다.
• 이 방법은 VFF가 유도 변수 수의 지수적 증가로 인해 비가능해지는 고차원 데이터(최대 8차원)까지 확장 가능함을 입증했다.
• 구면 조화 기저는 차수 순서를 통한 체계적인 특징 선택을 가능하게 하여, 고정된 유도 변수 예산을 최적으로 활용한다.