[논문 리뷰] Inference in Deep Gaussian Processes using Stochastic Gradient Hamiltonian Monte Carlo

Marton Havasi, José Miguel Hernández-Lobato외 1명|arXiv (Cornell University)|2018. 06. 14.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 38

한 줄 요약

이 논문은 딥 가우시안 프로세스(DGPs)에서 정확한 사후 분포 샘플링을 위해 확률적 경량 히스테리컬 몬테카를로(SGHMC)를 제안하며, 비모수적 추론의 한계를 극복하여 비정규 사후 분포를 포착한다. 이와 함께 효율적인 초모수 최적화를 위해 움직이는 창문 MCEM을 도입하여 중대형 데이터셋에서 더 낮은 계산 비용으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep Gaussian Processes (DGPs) are hierarchical generalizations of Gaussian Processes that combine well calibrated uncertainty estimates with the high flexibility of multilayer models. One of the biggest challenges with these models is that exact inference is intractable. The current state-of-the-art inference method, Variational Inference (VI), employs a Gaussian approximation to the posterior distribution. This can be a potentially poor unimodal approximation of the generally multimodal posterior. In this work, we provide evidence for the non-Gaussian nature of the posterior and we apply the Stochastic Gradient Hamiltonian Monte Carlo method to generate samples. To efficiently optimize the hyperparameters, we introduce the Moving Window MCEM algorithm. This results in significantly better predictions at a lower computational cost than its VI counterpart. Thus our method establishes a new state-of-the-art for inference in DGPs.

연구 동기 및 목표

• 딥 가우시안 프로세스(DGPs)에서 비모수적 추론의 한계를 해결하기 위해, 다중모드이자 비정규 사후 분포임에도 불구하고 단일 모드 정규 사후 분포를 가정하는 기존 방법의 한계를 해결한다.
• 복잡한 계층적 불확실성 구조를 가진 대규모 DGPs에 적합한 확장성 있고 효율적인 샘플링 기반 추론 방법을 개발한다.
• MCMC 기반 DGP 추론에서 빠르고 안정적인 학습을 가능하게 하는 새로운 초모수 최적화 알고리즘을 제안한다.
• 다양한 데이터셋에서 DGPs의 사후 분포가 비정규적임을 경험적으로 검증하여, 유연한 샘플링 방법의 필요성을 정당화한다.
• 회귀 및 분류 벤치마크에서 SGHMC 샘플링과 효율적인 초모수 학습을 결합하여 DGP 추론의 새로운 최신 기술 수준을 수립한다.

제안 방법

• 딥 가우시안 프로세스(DGPs)의 사후 분포에서 직접 샘플링할 수 있도록 확률적 경량 히스테리컬 몬테카를로(SGHMC)를 적용하여, 다중모드 및 비정규 사후 분포를 정확하게 표현한다.
• 움직이는 창문 몬테카를로 기대값 최대화(MCEM) 알고리즘을 도입하여 MCMC 샘플의 슬라이딩 윈도우를 활용해 초모수를 효율적으로 최적화한다.
• 완전한 GP 사후 분포를 근사하기 위해 유도점 프레임워크를 사용하여 전체 공분산 행렬의 역행렬 계산을 피하고 확장성을 확보한다.
• 미니배치를 사용한 확률적 경량 방법을 통해 초모수를 업데이트하여, MCMC 샘플링과 온라인 최적화를 결합해 효율성을 높인다.
• 분류 과제에 대해 강건한 최대우도(robust-max likelihood)를 적용하여, 딥 GP 모델에서 불확실성 인식 예측을 가능하게 한다.
• 사전 준비 단계를 거친 후 샘플링 단계를 통해 200개의 사후 샘플을 생성하며, 샘플의 움직이는 창문을 이용해 초모수를 반복적으로 업데이트한다.

실험 결과

연구 질문

• RQ1 실제 회귀 데이터셋에서 딥 가우시안 프로세스(DGPs)의 사후 분포는 비정규적이며, 특히 다중모드인가?
• RQ2 확률적 경량 히스테리컬 몬테카를로(SGHMC)가 DGPs에서 비모수적 추론보다 더 정확한 사후 근사치를 제공하는가?
• RQ3 제안된 움직이는 창문 MCEM 알고리즘이 기존 MCEM 또는 비모수적 방법에 비해 더 빠르고 안정적인 초모수 최적화를 가능하게 하는가?
• RQ4 SGHMC 기반 DGP 추론이 중대형 데이터셋에서 최신 기술 수준의 비모수적 방법인 이중 스토하스틱 비모수적 추론(DSVI)보다 더 뛰어난 예측 성능을 달성하는가?
• RQ5 실제로 SGHMC의 계산 비용은 DSVI에 비해 어떻게 되는가, 특히 수렴 속도와 최종 성능 측면에서 어떻게 비교되는가?

주요 결과

• 시험한 9개의 UCI 회귀 데이터셋 전부에서 DGPs의 사후 분포가 비정규적이며, 특히 유도 출력에서 다중모드 행동의 강력한 증거를 보였다.
• 하버드 클린 에너지 프로젝트 데이터셋에서 SGHMC DGP는 테스트 로그우도 -0.83을 기록하여 DSVI 및 BNN 기준선을 능가하며 새로운 최신 기술 수준을 확립했다.
• MNIST 분류 과제에서 SGHMC DGP는 98.0%의 정확도를 달성하여 기준선 DGP(97.8%)를 능가했고, 최고 성능을 기록한 분리형 DGP(98.1%)와 동등한 성능을 보였다.
• 단백질 데이터셋에서 SGHMC는 DSVI보다 1.6배 더 빠르게 수렴하여 더 적은 반복 수로 더 높은 테스트 로그우도를 달성했다.
• 움직이는 창문 MCEM 알고리즘이 효율적인 초모수 최적화를 가능하게 하여 계산 비용을 감소시키면서도 예측 성능을 향상시켰다.
• 더 높은 복잡도를 지닌 샘플링에도 불구하고, SGHMC 기반 추론은 중대형 데이터셋에서 DSVI에 비해 더 나은 불확실성 캘리브레이션과 예측 성능을 달성했다.