[논문 리뷰] Implicit Posterior Variational Inference for Deep Gaussian Processes

Haibin Yu, Yizhou Chen외 3명|arXiv (Cornell University)|2019. 10. 26.

Gaussian Processes and Bayesian Inference인용 수 15

한 줄 요약

이 논문은 딥 가우시안 프로세스(DGPs)를 위한 암시적 사후 변동 추론(IPVI)을 제안하며, DGP 추론을 두 명의 플레이어 간의 게임으로 모델링하여 시간 효율성과 편향 없는 사후 신뢰도 추정을 달성한다. 최적 반응 동역학을 활용해 편향 없는 사후에 해당하는 나시 균형에 도달함으로써 IPVI는 회귀, 분류, 비지도 학습 과제에서 최신 기법들을 능가한다.

ABSTRACT

A multi-layer deep Gaussian process (DGP) model is a hierarchical composition of GP models with a greater expressive power. Exact DGP inference is intractable, which has motivated the recent development of deterministic and stochastic approximation methods. Unfortunately, the deterministic approximation methods yield a biased posterior belief while the stochastic one is computationally costly. This paper presents an implicit posterior variational inference (IPVI) framework for DGPs that can ideally recover an unbiased posterior belief and still preserve time efficiency. Inspired by generative adversarial networks, our IPVI framework achieves this by casting the DGP inference problem as a two-player game in which a Nash equilibrium, interestingly, coincides with an unbiased posterior belief. This consequently inspires us to devise a best-response dynamics algorithm to search for a Nash equilibrium (i.e., an unbiased posterior belief). Empirical evaluation shows that IPVI outperforms the state-of-the-art approximation methods for DGPs.

연구 동기 및 목표

• 제한적인 가우시안 가정으로 인해 편향된 사후 신뢰도를 생성하는 결정론적 DGP 근사의 한계를 해결한다.
• 순차적 샘플링에 의존하고 수렴 속도가 느린 SGHMC와 같은 스 tochastic 방법의 계산 비효율성을 극복한다.
• 결정론적 및 스 tochastic 접근법의 장점을 융합하여 시간 효율적인 편향 없는 DGP 사후 추론 방법을 개발한다.
• 지도 학습 및 비지도 학습 환경에서 복잡하고 다중 모드인 사후 분포를 정확하게 모델링할 수 있도록 한다.
• 과적합을 줄이고 학습 및 예측 속도를 향상시키기 위해 파라미터 바인딩을 적용한 생성기 아키텍처를 설계한다.

제안 방법

• 생성기와 판별기 사이의 두 플레이어 간의 게임으로 DGP 추론을 설정하며, 나시 균형이 유도 변수의 편향 없는 사후 신뢰도에 해당한다.
• 최적 반응 동역학을 사용해 생성기와 판별기를 반복적으로 갱신하여 진정한 사후를 나타내는 나시 균형에 수렴한다.
• DGP 레이어 전반에 걸쳐 파라미터 바인딩을 적용한 생성기를 설계하여 구조적 일관성을 강화하고 과적합을 줄인다.
• GAN에 영감을 받은 암시적 생성 모델링을 활용해 명시적 우도 계산 없이도 복잡하고 비가우시안인 사후를 표현한다.
• 대안적 훈련을 통해 생성기를 최적화하여 참값 사후 분포와 일치하는 샘플을 생성하도록 분산 측도를 최소화한다.
• 변동 사후 근사 기법을 사용해 지도(회귀, 분류) 및 비지도(FreyFace 재구성) 과제에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 MCMC 샘플링의 계산 비용 없이 게임 이론 프레임워크를 활용해 딥 가우시안 프로세스에서 편향 없는 사후 추론을 달성할 수 있는가?
• RQ2 제안된 두 플레이어 게임에서의 나시 균형이 DGPs의 유도 변수에 대한 편향 없는 사후 신뢰도에 해당하는가?
• RQ3 대안적 훈련을 통한 암시적 사후 변동 추론이 기존의 결정론적 및 스 tochastic DGP 근사 방법보다 예측 정확도에서 뛰어나게 성능을 냈는가?
• RQ4 제안된 IPVI 프레임워크는 비지도 표현 학습 과제에서 복잡하고 다중 모드인 사후 분포를 얼마나 잘 모델링하는가?
• RQ5 생성기 아키텍처에서의 파라미터 바인딩이 DGP 모델의 일반화 능력 향상과 과적합 감소에 얼마나 기여하는가?

주요 결과

• IPVI는 회귀 및 분류 벤치마크에서 최신 기술 수준의 성능을 달성하며, 결정론적 및 스 tochastic 기반 모델을 모두 능가한다.
• FreyFace 데이터셋에서 IPVI는 사후 분포의 다중 모드 성격을 정확히 포착하여 부분 관측에서 평온한 표정과 기쁨을 띤 표정을 모두 회복한다.
• 가우시안 근사는 다중 모드 사후를 모델링하지 못해 한 가지 모드(예: 모드 A)만 포착하지만, IPVI는 두 모드(A 및 B) 모두 성공적으로 복원한다.
• 실험 결과에 따르면 파라미터 바인딩을 적용한 IPVI는 바인딩이 없는 모델 대비 더 나은 일반화 능력과 더 빠른 학습 및 예측 속도를 보였다.
• 최적 반응 동역학 알고리즘이 편향 없는 사후 신뢰도에 해당하는 나시 균형에 수렴함으로써 프레임워크의 이론적 기반을 검증한다.
• 지도 학습 과제에서 IPVI는 경쟁 기법들보다 더 높은 테스트 로그우도와 더 낮은 RMSE를 달성했으며, 특히 비가우시안 사후가 존재하는 환경에서 두드러진 성능을 보였다.