[논문 리뷰] Variational Orthogonal Features

David R. Burt, Carl Edward Rasmussen외 1명|arXiv (Cornell University)|2020. 06. 23.

Gaussian Processes and Bayesian Inference참고 문헌 20인용 수 6

한 줄 요약

이 논문은 가우시안 프로세스 추론을 위한 Variational Orthogonal Features (VOF)를 소개한다. 이 방법은 몬테 카를로 샘플링을 사용하여 비편향된 ELBO 추정기의 O(\tilde{N}T + M^2T) 계산을 가능하게 하며, 평균장 근사 하에서는 O(\tilde{N}T + MT) 복잡도를 갖는다. 이는 임의의 정적 커널에 대해, 유도 특징 공분산 행렬 K_uu가 대각행렬이 되는 특징을 구성하여 표준 희소 변분 추론에서 발생하는 O(M^3) 비용을 제거함으로써 달성된다.

ABSTRACT

Sparse stochastic variational inference allows Gaussian process models to be applied to large datasets. The per iteration computational cost of inference with this method is $\mathcal{O}( ilde{N}M^2+M^3),$ where $ ilde{N}$ is the number of points in a minibatch and $M$ is the number of `inducing features', which determine the expressiveness of the variational family. Several recent works have shown that for certain priors, features can be defined that remove the $\mathcal{O}(M^3)$ cost of computing a minibatch estimate of an evidence lower bound (ELBO). This represents a significant computational savings when $M\gg ilde{N}$. We present a construction of features for any stationary prior kernel that allow for computation of an unbiased estimator to the ELBO using $T$ Monte Carlo samples in $\mathcal{O}( ilde{N}T+M^2T)$ and in $\mathcal{O}( ilde{N}T+MT)$ with an additional approximation. We analyze the impact of this additional approximation on inference quality.

연구 동기 및 목표

• 희소 변분 GP 추론에서 발생하는 O(M^3) 비용을 제거하는 확장 가능한 추론 방법을 개발하기 위해.
• 큰 M과 작은 미니배치에서 높은 계산 비용 없이 비편향된 ELBO 추정을 가능하게 하기 위해.
• 기존의 VFF 및 고유함수 기반 방법을 분석적 해가 필요로 하는 특정 커널 클래스에 국한되지 않고 임의의 정적 커널으로 일반화하기 위해.
• 직교 기저 함수를 활용하여 대각행렬 K_uu를 얻음으로써 스토케스틱 변분 추론의 계산 효율성을 향상시키기 위해.
• 유도 특징 공분산에 대한 평균장 근사가 도입하는 근사 품질과 계산 절감 간의 상호 교환 관계를 분석하기 위해.

제안 방법

• 정적 커널의 Reproducing Kernel Hilbert Space (RKHS) 내의 직교 함수를 기반으로 한 변분 직교 특징(VOF)의 가족을 구성한다.
• 유도 특징 공분산 행렬 K_uu가 대각행렬이 되도록 특징을 정의함으로써, 표준 방법에서 발생하는 O(M^3) 역행렬 계산 비용을 제거한다.
• T개의 샘플을 사용한 몬테 카를로 샘플링을 통해 ELBO를 O(\tilde{N}T + M^2T) 시간 내에 추정하며, 평균장 근사 하에서는 O(\tilde{N}T + MT) 복잡도로 개선된다.
• 공액 및 비공액 우도 모두에 이 방법을 적용하며, 비정규 분포의 경우 가우스-에르미트 적분을 사용한다.
• 커널의 스펙트럼 분해를 통해 특징 함수를 유도함으로써 직교성과 대각행렬 K_uu를 보장한다.
• 실제로 특징 값과 기울기를 효율적으로 계산하기 위해 직교 다항식(예: 에르미트)의 재귀적 평가를 활용한다.

실험 결과

연구 질문

• RQ1 모든 정적 커널에 대해 적용 가능한 일반 목적의 특징 구성 방법을 개발할 수 있는가? 이는 희소 변분 GP 추론에서 발생하는 O(M^3) 비용을 피할 수 있는가?
• RQ2 유도 특징 공분산에 대한 평균장 근사가 실질적으로 변분 근사의 품질에 어떤 영향을 미치는가?
• RQ3 ELBO 추정의 분산과 수렴 속도 측면에서, 전체 K_uu와 대각행렬 K_uu 간의 계산 및 통계적 상호 교환 관계는 어떠한가?
• RQ4 기존의 고유함수 기반 방법처럼 적분 방정식의 해석적 해가 필요 없이도 직교 특징을 구성할 수 있는가?
• RQ5 직교 기저의 선택(예: 에르미트, 삼각함수)이 도출된 GP 모델의 확장성과 정확성에 어떤 영향을 미치는가?

주요 결과

• 제안된 VOF 방법은 T개의 몬테 카를로 샘플을 사용하여 비편향된 ELBO 추정에 대해 O(\tilde{N}T + M^2T) 복잡도를 달성하며, 표준 SVI에서 발생하는 O(M^3) 항을 제거한다.
• 평균장 근사 하에서는 복잡도가 O(\tilde{N}T + MT)로 감소하여 M ≫ \tilde{N}일 경우 확장성에 크게 기여한다.
• 이 방법은 임의의 정적 커널에 적용 가능하며, 특정 커널 클래스에 국한되는 기존 방법들인 VFF 및 고유함수 기반 방법을 일반화한다.
• 실험 결과에 따르면 평균장 근사가 성능에 미치는 영향은 미미하며, TrigVOF와 전체 K_uu 버전 간의 ELBO 값이 유사하게 나타난다.
• 이론적 이점이 있음에도 불구하고, 작은 M 범위에서는 직교 다항식 평가의 높은 오버헤드로 인해 실질적 이점이 제한되나, 큰 M에 대해서는 점점 우월한 점근적 성능을 유지한다.
• 이 방법은 M에 대한 입자 수의 세제곱 항과 계산 비용을 분리함으로써 대규모 데이터셋에 대한 효율적인 스트로크스틱 변분 추론을 가능하게 한다.