[논문 리뷰] MCMC methods for Gaussian process models using fast approximations for the likelihood

Chunyi Wang, Radford M. Neal|arXiv (Cornell University)|2013. 05. 10.

Gaussian Processes and Bayesian Inference참고 문헌 9인용 수 7

한 줄 요약

이 논문은 가우시안 프로세스 모델에서 계산을 가속화하기 위해 가능도의 빠른 근사값(예: 데이터의 부분집합 또는 Nystroem-Cholesky)을 활용하여 두 가지 효율적인 MCMC 방법—해상도 체인으로의 매핑과 온도 조절 전이—을 제안한다. 근사값을 사용함에도 불구하고, 일시적인 상태공간 매핑과 캐싱을 통해 진정한 사후분포에서 정확한 표본을 추출함을 보장한다. 실험 결과, 합성 데이터셋에서 표준 MCMC 대비 최대 3배 빠른 성능을 기록하였다.

ABSTRACT

Gaussian Process (GP) models are a powerful and flexible tool for non-parametric regression and classification. Computation for GP models is intensive, since computing the posterior density, $π$, for covariance function parameters requires computation of the covariance matrix, C, a $pn^2$ operation, where p is the number of covariates and n is the number of training cases, and then inversion of C, an $n^3$ operation. We introduce MCMC methods based on the "temporary mapping and caching" framework, using a fast approximation, $π^*$, as the distribution needed to construct the temporary space. We propose two implementations under this scheme: "mapping to a discretizing chain", and "mapping with tempered transitions", both of which are exactly correct MCMC methods for sampling $π$, even though their transitions are constructed using an approximation. These methods are equivalent when their tuning parameters are set at the simplest values, but differ in general. We compare how well these methods work when using several approximations, finding on synthetic datasets that a $π^*$ based on the "Subset of Data" (SOD) method is almost always more efficient than standard MCMC using only $π$. On some datasets, a more sophisticated $π^*$ based on the "Nyström-Cholesky" method works better than SOD.

연구 동기 및 목표

• 가우시안 프로세스 모델에서 MCMC의 높은 계산 비용을 해결하기 위해, 데이터 크기에 따라 코어레이션 행렬의 역행렬 계산이 세제곱적으로 증가하는 문제를 다룬다.
• 사후분포의 빠른 근사값을 사용하여 계산 시간을 단축시키면서도 목표 분포의 정확성을 유지하는 MCMC 기법을 개발한다.
• 다양한 가능도 근사값을 사용하여 두 가지 신규 MCMC 프레임워크—해상도 체인으로의 매핑과 온도 조절 전이—의 성능을 평가한다.
• SOD나 Nystroem-Cholesky와 같은 빠른 근사값이 표준 MCMC에 비해 상당한 효율적 향상을 보이는 조건(예: 데이터 크기, 길이 척도)을 규명한다.

제안 방법

• Neal(2006)의 일시적 매핑 및 캐싱 프레임워크를 활용하여, 원래 공간 $\mathcal{X}$와 일시적 공간 $\mathcal{Y}$ 사이를 오가는 세 매핑 $\hat{T}$, $\bar{T}$, $\check{T}$ 를 정의함으로써 전이를 설정한다.
• 일시적 공간 $\mathcal{Y}$ 에서의 불변 분포 $\rho(y)$ 로서 근사 사후분포 $\pi^*$ (예: SOD 또는 Nystroem-Cholesky) 를 사용하여 더 빠른 계산을 가능하게 한다.
• 전이 $T(x'|x)$ 를 $\hat{T}(y|x)$, $\bar{T}(y'|y)$, $\check{T}(x'|y')$ 의 조합으로 구성함으로써, 진정한 사후분포 $\pi$ 에 대해 세부 균형 조건과 정확성을 보장한다.
• 온도 조절 전이 방법을 대안 프레임워크로 적용하며, 여러 계층 $\pi_i$ 를 거쳐 전이를 정의하고, $\pi^*$ 를 중간 분포로 사용한다.
• 각 계층당 MCMC 업데이트 수와 $\pi^*$ 의 부분집합 크기 $m$ 을 조정하여 수용률과 혼합 효율성을 균형 잡는다.
• 이전에 계산된 $\pi(x)$ 값들을 캐싱하여 중복 평가를 방지함으로써 반복적 표본 추출에서 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 가능도의 빠른 근사값을 사용하여 MCMC 표본 추출을 가속화할 수 있는가, 이때 사후분포의 정확성은 손상되지 않는가?
• RQ2 다양한 가능도 근사값을 사용할 때, 해상도 체인으로의 매핑과 온도 조절 전이의 성능 특성에는 어떤 차이가 있는가?
• RQ3 어떤 조건(예: 데이터 크기, 길이 척도)에서 SOD 근사값이 Nystroem-Cholesky 근사값보다 MCMC 효율성에서 뛰어나지는가?
• RQ4 온도 조절 전이에서 다중 계층을 사용하면 단일 계층 매핑에 비해 혼합 성능 향상과 상관관계 감소에 기여하는가?

주요 결과

• SOD 근사값은 합성 데이터셋에서 $n=300$ 및 $p=5$ 일 때, 초당 유효 표본 크기 측면에서 표준 MCMC를 항상 능가하며, 최대 3배의 속도 향상을 기록하였다.
• 길이 척도가 큰 데이터셋에서는 $m=10\%$ 의 Nystroem-Cholesky 근사값이 SOD를 크게 능가하여 상관관계를 감소시키고 혼합 성능을 향상시켰다.
• 길이 척도가 작을 경우, $m$ 이 $n$ 의 약 95\% 수준이 아닐 경우 Nystroem-Cholesky 근사값은 너무 느려져 SOD보다 효율성이 떨어졌다.
• SOD 기반 $\pi^*$ 와 두 계층의 온도 조절 전이 방법은 모든 테스트 데이터셋에서 해상도 체인 방법을 능가하였으며, 특히 고차원 또는 복잡한 사후분포에서 두각을 나타냈다.
• 해상도 체인으로의 매핑 방법은 조정 파rameter $r$ 과 $s$ 에 민감하며, 큰 점프를 수행할 경우 수용률이 낮아져 성능이 열 劣하였다.
• 사후분포 밀도 평가의 캐싱은 중복 계산을 줄이며, 빠른 $\pi^*$ 와 캐싱의 조합이 MCMC 표본 추출의 전반적인 속도 향상에 상당한 기여를 하였다.