[논문 리뷰] Laplace approximation for logistic Gaussian process density estimation

Jaakko Riihimäki, Aki Vehtari|arXiv (Cornell University)|2012. 11. 01.

Gaussian Processes and Bayesian Inference인용 수 2

한 줄 요약

이 논문은 1차원 및 2차원 격자에서 빠르고 정확한 밀도 추정을 가능하게 하는 로지스틱 가우시안 프로세스(LGP) 밀도 추정에서 베이지안 추론을 위한 라플라스 근사 방법을 제안한다. 2차원 격자에 대해 라플라스 방법과 유형-II MAP 추정을 결합하고, 공분산 매개변수의 하이퍼파rameter를 추정하며, 감소된 질량 근사(reduced-rank approximation)를 적용하여 성능을 MCMC 및 최신 혼합 모델에 가깝게 만들었으며, 상호작용 가능한 시각화를 지원한다.

ABSTRACT

Logistic Gaussian process (LGP) priors provide a flexible alternative for modelling unknown densities. The smoothness properties of the density estimates can be controlled through the prior covariance structure of the LGP, but the challenge is the analytically intractable inference. In this paper, we present approximate Bayesian inference for LGP density estimation in a grid using Laplace's method to integrate over the non-Gaussian posterior distribution of latent function values and to determine the covariance function parameters with type-II maximum a posteriori (MAP) estimation. We demonstrate that Laplace's method with MAP is sufficiently fast for practical interactive visualisation of 1D and 2D densities. Our experiments with simulated and real 1D data sets show that the estimation accuracy is close to a Markov chain Monte Carlo approximation and state-of-the-art hierarchical infinite Gaussian mixture models. We also construct a reduced-rank approximation to speed up the computations for dense 2D grids, and demonstrate density regression with the proposed Laplace approach.

연구 동기 및 목표

• 비정규 분포를 가진 사후 분포로 인해 발생하는 로지스틱 가우시안 프로세스(LGP) 밀도 추정에서의 비가역 추론 문제를 해결하기 위해.
• 효율적인 근사 베이지안 추론을 통해 1D 및 2D 밀도 추정의 실시간 상호작용 가능한 시각화를 가능하게 하기 위해.
• LGP 모델에서의 탄력적인 사전 공분산 구조를 통해 밀도 추정의 매끄러움을 제어하기 위해.
• 조밀한 2차원 격자에서 계산을 가속화하기 위해 감소된 질량 근사를 개발하기 위해.

제안 방법

• LGP 모델에서 잠재 함수 값의 비가역 사후 분포를 근사하기 위해 라플라스 방법을 적용한다.
• 공분산 함수의 하이퍼파rameter를 학습하기 위해 유형-II 최대사후확률(MAP) 추정을 사용한다.
• 조밀한 2차원 격자에서의 계산을 가속화하기 위해 공분산 행렬의 감소된 질량 근사를 구성한다.
• 밀도 회귀와 라플라스 근사를 통합하여 탄력적인 비모수적 밀도 추정을 가능하게 한다.
• 알 수 없는 밀도 함수를 격자 기반 이산화로 표현하고, 잠재 로그-밀도 값에 대해 LGP 사전을 적용한다.
• 라플라스 근사의 효율성을 활용하여 추정된 밀도의 상호작용 가능한 시각화를 지원한다.

실험 결과

연구 질문

• RQ1 라플라스 근사는 MCMC에 비해 계산적으로 효율적이면서도 수용 가능한 정확도를 제공하는가?
• RQ2 MAP 하이퍼파rameter 추정을 통한 라플라스 근사는 최신의 계층적 무한 가우시안 혼합 모델과 비교해 어떻게 성능을 내는가?
• RQ3 감소된 질량 근사는 조밀한 2차원 격자에서 추론을 가속화하면서도 정확도를 유지할 수 있는가?
• RQ4 제안된 방법은 실질적으로 1D 및 2D 밀도 추정의 상호작용 가능한 시각화를 지원할 수 있는가?

주요 결과

• MAP 추정을 통한 라플라스 근사는 시뮬레이션 및 실제 1D 데이터셋에서 마르코프 체인 몬테카를로(MCMC) 방법과 비교해 유사한 정확도를 달성한다.
• 밀도 추정 과제에서 최신의 계층적 무한 가우시안 혼합 모델과 경쟁적인 성능을 보인다.
• 감소된 질량 근사는 조밀한 2차원 격자에서 계산을 크게 가속화하면서도 추정 품질을 유지한다.
• 계산 효율성 덕분에 1D 및 2D 밀도 추정의 실시간 상호작용 가능한 시각화를 실질적으로 지원한다.
• 라플라스 근사된 사후 분포를 사용한 밀도 회귀를 성공적으로 지원하여 비모수적 밀도 모델링의 유연성을 입증한다.