[논문 리뷰] Automated Augmented Conjugate Inference for Non-conjugate Gaussian Process Models

Théo Galy-Fajou, Florian Wenzel외 1명|arXiv (Cornell University)|2020. 02. 26.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 비공액 가우시안 프로세스 모델에서 효율적인 베이지안 추론을 위한 새로운 방법인 자동 보정 공액 추론(Automatic Augmented Conjugate Inference, aaci)을 소개한다. 비공액 모델이 조건부 공액이 되도록 자동으로 보조 변수 증강을 구성함으로써, aaci는 폐쇄형 블록 좌표 갱신과 점점 정확해지는 거스 함수 샘플러를 갖춘 빠르고 확장 가능한 스토하스틱 변분 추론을 가능하게 한다. 이 방법은 최신의 블랙박스 방법보다 최대 두 계단 빠른 추론 성능을 달성하면서도 경쟁 가능한 예측 성능을 유지한다.

ABSTRACT

We propose automated augmented conjugate inference, a new inference method for non-conjugate Gaussian processes (GP) models. Our method automatically constructs an auxiliary variable augmentation that renders the GP model conditionally conjugate. Building on the conjugate structure of the augmented model, we develop two inference methods. First, a fast and scalable stochastic variational inference method that uses efficient block coordinate ascent updates, which are computed in closed form. Second, an asymptotically correct Gibbs sampler that is useful for small datasets. Our experiments show that our method are up two orders of magnitude faster and more robust than existing state-of-the-art black-box methods.

연구 동기 및 목표

• 대규모 데이터셋에 스케일링 가능한 효율적이고 자동화된 비공액 가우시안 프로세스 모델 추론 프레임워크를 개발하는 것.
• 샘플링이나 수치적 적분에 의존하여 계산 비용이 높은 블랙박스 추론 방법의 한계를 극복하는 것.
• 각 모델에 대해 수작업 유도가 필요 없는 광범위한 슈퍼가우시안 우도에 적용 가능한 통합적 방법을 제공하는 것.
• 단일 자동화 프레임워크를 통해 고속의 변분 추론과 고품질의 사후 샘플링을 동시에 달성하는 것.
• 기존의 MCMC 및 변분 방법에 비해 샘플 효율성과 수렴 안정성을 향상시키는 것.

제안 방법

• 원래의 비공액 GP 모델이 조건부 공액이 되도록 자동으로 보조 변수 증강을 구성하는 것.
• 조건부 공액 성질을 활용해 모든 완전조건부 분포를 폐쇄형으로 계산하는 것.
• 폐쇄형 해를 갖는 효율적인 블록 좌표 상승 갱신을 사용하는 확장 가능한 스토하스틱 변분 추론 방법을 구현하는 것.
• 소규모 데이터셋을 위한 정확한 거스 샘플러를 제공하여 渐近적으로 정확한 사후 샘플을 얻는 것.
• 유도 점과 확률적 경사 하강법을 적용하여 변분 추론을 대규모 데이터셋에 스케일링하는 것.
• 백색화 변환과 커널 행렬 조정을 적용하여 MCMC의 혼합성과 수렴성을 향상시키는 것.

실험 결과

연구 질문

• RQ1 자동화된 방법이 광범위한 비공액 GP 모델에 대해 조건부 공액 증강을 구성할 수 있는가?
• RQ2 자동 공액 추론은 최신의 블랙박스 변분 추론 및 MCMC 방법에 비해 속도와 안정성 측면에서 어떻게 비교되는가?
• RQ3 증강 갭(증강 모델과 원래 모델 간의 ELBO 차이)이 예측 성능에 어느 정도 영향을 미치는가?
• RQ4 증강 모델 기반 거스 샘플러는 효율적인 샘플 수가 더 높은 히브리지안 몬테카를로보다 더 나은 성능을 내는가?
• RQ5 이 방법은 수백만 개의 데이터 포인트를 포함한 대규모 데이터셋에 얼마나 잘 스케일링되는가?

주요 결과

• aaci의 변분 추론 모듈은 최신의 블랙박스 방법보다 최대 두 계단 빠르며, 경쟁 가능한 예측 성능을 유지한다.
• aaci의 최적화 과정은 기존 기준 방법에서 관찰되는 진동하는 행동과는 달리 부정 ELBO가 매끄럽게 감소함으로써 더 높은 안정성을 보인다.
• 거스 샘플러는 특히 스튜던트-t 및 라플라스 우도와 같은 꼬리가 두꺼운 분포에서 히브리지안 몬테카를로에 비해 훨씬 높은 효과적 샘플 수를 달성한다.
• 증강 모델과 원래 모델 간의 ELBO 값 격차가 뚜렷하지만, 검증 세트에서의 예측 성능은 거의 동일하게 유지된다.
• 이 방법은 대규모 데이터셋에 대해 효율적으로 스케일링되며, SUSY 데이터셋(500만 점)에서의 학습 시간이 경쟁 방법보다 상당히 빠르다.
• 거스 샘플러의 내부상관도 매우 낮아 높은 샘플 효율성을 보이며, 상호상관도는 거의 최적에 수렴하여 수렴의 신뢰성을 확인한다.