[논문 리뷰] The Variational Gaussian Process

Dustin Tran, Rajesh Ranganath외 1명|arXiv (Cornell University)|2015. 11. 20.

Gaussian Processes and Bayesian Inference참고 문헌 28인용 수 15

한 줄 요약

변분 가우시안 프로세스(Variational Gaussian Process, VGP)는 잠재 변수의 융통성 있고 적응적인 변환을 학습하기 위해 가우시안 프로세스를 사용하는 베이지안 비모수 변분 추론 방법이다. 이는 복잡한 사후 분포의 보편적 근사가 가능하게 하며, 비모수적 변분 추론 방법으로서 비지도 학습에서 최고 성능을 기록한다. 이는 변분 데이터와 커널 파라미터를 통해 비선형 매핑을 학습함으로써 달성되며, 이중화된 MNIST에서 -79.88의 음의 로그우도를 기록하고 스케치 데이터셋에서도 성능 향상을 이룬다.

ABSTRACT

Variational inference is a powerful tool for approximate inference, and it has been recently applied for representation learning with deep generative models. We develop the variational Gaussian process (VGP), a Bayesian nonparametric variational family, which adapts its shape to match complex posterior distributions. The VGP generates approximate posterior samples by generating latent inputs and warping them through random non-linear mappings; the distribution over random mappings is learned during inference, enabling the transformed outputs to adapt to varying complexity. We prove a universal approximation theorem for the VGP, demonstrating its representative power for learning any model. For inference we present a variational objective inspired by auto-encoders and perform black box inference over a wide class of models. The VGP achieves new state-of-the-art results for unsupervised learning, inferring models such as the deep latent Gaussian model and the recently proposed DRAW.

연구 동기 및 목표

• 베이지안 추론에서 복잡한 사후 분포를 근사할 수 있는 융통성 있고 적응적인 변분 가족을 개발하는 것.
• 베이지안 비모수적 구성에 의해 임의의 연속적인 사후 분포를 보편적으로 근사할 수 있도록 하는 것.
• 딥 생성 모델을 포함한 다양한 확률적 모델과 호환되는 블랙박스 추론 방법을 제공하는 것.
• 딥 잠재 가우시안 모델과 DRAW와 같은 모델에서 표현 학습과 우도 추정을 향상시키는 것.

제안 방법

• VGP는 기저 분포를 사용해 잠재 입력을 생성하고, 이를 가우시안 프로세스에 의해 정의된 무작위 비선형 매핑을 통해 왜곡한다.
• 이러한 비선형 매핑에 대한 분포는 추론 중 커널 파라미터와 변분 데이터(입력-출력 쌍)를 사용해 학습된다.
• 기저 입력을 GP에 의해 유도된 매핑을 통해 변형함으로써 변분 가족이 구성되며, 이는 모델이 사후 분포에 맞게 복잡성을 자동으로 조정할 수 있도록 한다.
• 자동에코 목표에 영감을 얻어, 변분 근사와 진짜 사후 분포 사이의 KL 발산을 최소화하기 위해 스 tochastic 최적화 알고리즘을 사용한다.
• 모델 아키텍처 수정 없이 다양한 모델에서 엔드 투 엔드 학습이 가능하게 하여 블랙박스 추론을 지원한다.
• 변분 데이터는 GP의 기준점으로 기능하며, 이는 모델이 복잡하고 데이터에 의존적인 변환을 학습하여 사후 근사 품질을 향상시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 임의의 사후 분포의 복잡성을 적응적으로 포착할 수 있는 변분 가족을 구성할 수 있는가?
• RQ2 베이지안 비모수적 변분 모델을 사용해 연속적인 사후 분포를 보편적으로 근사할 수 있는가?
• RQ3 VGP는 딥 생성 모델에서 우도 추정과 표현 학습 향상에 얼마나 효과적인가?
• RQ4 VGP는 DRAW와 딥 잠재 가우시안 모델과 같은 모델에서 평균-장 가족의 즉각적인 대체로 사용될 수 있는가?

주요 결과

• VGP는 DRAW 아키텍처를 사용하는 이진화된 MNIST에서 -79.88의 음의 예측 로그우도를 기록하여, 이 분야에서 새로운 최고 성능을 달성했다.
• 딥 잠재 가우시안 모델의 경우, VGP는 -81.32의 음의 로그우도를 기록했으며, 이는 이전 최고 성능인 -82.90을 초월했다.
• 스케치 데이터셋에서 VGP가 강화된 DRAW 모델은 300 에포크 후 하한값 423.9를 기록했으며, 원본 DRAW 모델보다 뚜렷이 뛰어난 성능을 보였다.
• VGP가 강화된 DRAW 모델에서 생성된 이미지는 원본 모델 대비 질감, 선명도, 구조적 복잡성이 향상된 것으로 나타났다.
• VGP는 보편적 근사 능력을 입증하였으며, 미약한 조건 하에서 임의의 연속적인 사후 분포를 표현할 수 있음을 증명했다.
• 이 방법은 다양한 모델에 걸쳐 블랙박스 변분 추론을 가능하게 하여, 모델 전용 도출 없이도 효율적인 스 tochastic 최적화를 지원한다.