[논문 리뷰] Generic Inference in Latent Gaussian Process Models

Edwin V. Bonilla, Karl Krauth외 1명|arXiv (Cornell University)|2016. 09. 02.

Gaussian Processes and Bayesian Inference참고 문헌 68인용 수 12

한 줄 요약

이 논문은 임의의 가능도를 가진 잠재 가우시안 프로세스 모델을 위한 일반적이고 확장 가능한 변분 추론 방법을 제안한다. 변분 사후분포로 가우시안 혼합모형을 사용하고, 단변량 표본 추출을 통한 효율적인 몬테 카를로 추정을 적용한다. 이 방법은 모델 특화 도출이 필요 없이 대규모 회귀 및 분류 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We develop an automated variational method for inference in models with Gaussian process (GP) priors and general likelihoods. The method supports multiple outputs and multiple latent functions and does not require detailed knowledge of the conditional likelihood, only needing its evaluation as a black-box function. Using a mixture of Gaussians as the variational distribution, we show that the evidence lower bound and its gradients can be estimated efficiently using samples from univariate Gaussian distributions. Furthermore, the method is scalable to large datasets which is achieved by using an augmented prior via the inducing-variable approach underpinning most sparse GP approximations, along with parallel computation and stochastic optimization. We evaluate our approach quantitatively and qualitatively with experiments on small datasets, medium-scale datasets and large datasets, showing its competitiveness under different likelihood models and sparsity levels. On the large-scale experiments involving prediction of airline delays and classification of handwritten digits, we show that our method is on par with the state-of-the-art hard-coded approaches for scalable GP regression and classification.

연구 동기 및 목표

• 일반적이고 비선형 가능도를 가진 가우시안 프로세스 모델을 위한 완전 자동 추론 방법을 개발하여, 변분 경계의 수작업 도출을 피하고자 한다.
• 유도 변수 근사(스parser GP 프레임워크)와 스트로스틱 최적화 및 병렬 계산을 조합하여 대규모 데이터셋에서의 확장성을 해결하고자 한다.
• 요소별 가능도와 사전분포를 통해 다중 출력 및 다중 잠재 함수 모델을 지원하고자 한다.
• 분석적 그래디언트나 닫힌 형태의 표현이 필요 없이 블랙박스 가능도 평가를 가능하게 하고자 한다.
• 다양한 확률 모델에서 맞춤형 변분 추론 도출의 부담을 줄이고자 한다.

제안 방법

• 유도 변수에 대한 변분 사후분포로 가우시안 혼합모형을 사용하여 복잡한 사후분포를 민첩하게 근사한다.
• 일변량 가우시안 분포에서 추출한 표본을 이용한 몬테 카를로 추정을 통해 기대하한 하한값(ELBO)을 계산하고, 이로 인해 효율적인 그래디언트 계산이 가능하도록 한다.
• 유도 변수 근사를 적용하여(스퍼스 GP 프레임워크) 유도 입력의 축소된 집합을 도입함으로써 대규모 데이터셋에 대한 확장성을 확보한다.
• 스트로스틱 최적화와 병렬 계산을 활용하여 추가로 확장성과 학습 효율성을 향상시킨다.
• 관측치와 함수 간에 요소별 사전분포와 가능도를 통해 다중 잠재 함수 및 출력 모델을 지원한다.
• 가능도를 블랙박스로 취급하여, 평가가 가능하기만 하면 되며 분석적 형태나 그래디언트 계산이 필요하지 않다.

실험 결과

연구 질문

• RQ1 일반적인 변분 추론 프레임워크를 개발할 수 있는가? 이는 모델 특화 도출 없이도 임의의 가능도를 가진 잠재 가우시안 프로세스 모델을 지원할 수 있어야 한다.
• RQ2 단변량 표본 추출을 통한 몬테 카를로 추정이 복잡한 GP 모델에서 ELBO와 그 그래디언트를 얼마나 효과적으로 근사할 수 있는가?
• RQ3 제안된 방법이 예측 정확도와 불확실성 캘리브레이션을 유지하면서 대규모 데이터셋에 얼마나 잘 확장되는가?
• RQ4 대규모 회귀 및 분류 과제에서 하드코딩된 최신 기술 수준의 방법과 비교해 볼 때, 이 일반적 방법의 성능은 어떠한가?
• RQ5 다양한 데이터셋에서 유도 입력 위치를 학습시키는 것과 고정된 위치를 사용하는 것의 모델 성능에 미치는 영향은 어떠한가?

주요 결과

• 이 방법은 대규모 회귀(항공기 지연) 및 분류(MNIST) 과제에서 최신 기술 수준의 하드코딩된 방법과 경쟁 가능한 성능을 달성한다.
• MNIST 데이터셋에서, 유도 변수의 수를 10배 감소시킨 상태에서도, 유도 입력 위치를 학습시킴으로써 더 두꺼운 모델과 유사한 성능 향상을 달성했다.
• Sarcos 데이터셋에서는 전체 GP 회귀 네트워크(GPRN) 모델을 사용해 7개 관절을 모두 학습시켰을 때, 점 추정(MSE)이 약간 악화되었음에도 불구하고 불확실성 추정(NLPD)이 향상되었다.
• Sarcos 실험에서는 안정적인 결과를 확보하기 위해 10,000개의 몬테 카를로 표본이 필요했으며, 이는 잠재 과정의 곱을 포함한 복잡한 가능도에서 변동성이 높다는 것을 시사한다.
• 이 방법은 다양한 희박성 수준과 가능도 모델에서 뛰어난 안정성을 보였으며, 특히 유도 입력을 최적화할 경우 일관된 성능 향상을 보였다.
• 변분 사후분포로 가우시안 혼합모형을 사용함으로써 고차원 및 다중 출력 설정에서도 정확한 사후분포 근사를 가능하게 하였다.