[논문 리뷰] Marginalised Gaussian Processes with Nested Sampling

Fergus Simpson, Vidhi Lalchand외 1명|arXiv (Cornell University)|2020. 10. 30.

Gaussian Processes and Bayesian Inference참고 문헌 30인용 수 4

한 줄 요약

이 논문은 가우시안 프로세스에서 커널 하이퍼파rameter에 대한 주변화를 위해 내재 샘플링(_nested sampling)을 제안한다. 이는 일반적으로 국소 최소값과 과도하게 확신하는 예측을 초래하는 최대우도 유형 II(ML-II) 최적화의 한계를 해결한다. 하이퍼파rameter의 전체 사후분포에서 샘플링을 통해, 특히 스펙트럴 미션 커널에서 흔히 나타나는 다모달리티가 있는 가능도 표면에서 더 견고하고 신뢰할 수 있는 예측 구간을 도출한다. 이는 ML-II와 해밀토니안 몽테카를로(HMC)보다도 불확실성 정량화에서 뛰어난 성능을 보인다.

ABSTRACT

Gaussian Process (GPs) models are a rich distribution over functions with inductive biases controlled by a kernel function. Learning occurs through the optimisation of kernel hyperparameters using the marginal likelihood as the objective. This classical approach known as Type-II maximum likelihood (ML-II) yields point estimates of the hyperparameters, and continues to be the default method for training GPs. However, this approach risks underestimating predictive uncertainty and is prone to overfitting especially when there are many hyperparameters. Furthermore, gradient based optimisation makes ML-II point estimates highly susceptible to the presence of local minima. This work presents an alternative learning procedure where the hyperparameters of the kernel function are marginalised using Nested Sampling (NS), a technique that is well suited to sample from complex, multi-modal distributions. We focus on regression tasks with the spectral mixture (SM) class of kernels and find that a principled approach to quantifying model uncertainty leads to substantial gains in predictive performance across a range of synthetic and benchmark data sets. In this context, nested sampling is also found to offer a speed advantage over Hamiltonian Monte Carlo (HMC), widely considered to be the gold-standard in MCMC based inference.

연구 동기 및 목표

• 표준 ML-II 학습에서 하이퍼파rameter 불확실성을 적절히 고려함으로써 가우시안 프로세스의 과도한 확신과 국소 최소값 문제를 해결한다.
• GP 하이퍼파rameter 공간에서 다모달 사후분포에 대해 내재 샘플링이 얼마나 견고한 추론 방법으로 작용하는지 평가한다.
• 하이퍼파arameter에 대한 주변화가 특히 고차원적이거나 노이즈가 많은 데이터 환경에서 더 신뢰할 수 있는 예측 구간을 제공하는지 보여준다.
• 특히 복잡한 가능도 기하학을 보이는 표현력 있는 커널(예: 스펙트럴 미션 커널)을 위한 점추정의 원칙적인 대안을 제공한다.

제안 방법

• 논문은 경사 기반 최적화에 의존하지 않고 GP 하이퍼파arameter의 사후분포를 탐색하기 위해 내재 샘플링을 사용한다.
• 스펙트럴 미션 커널을 사용하여 스펙트럴 밀도 재매arameter화를 통해 복잡한 패턴을 모델링할 수 있는 민첩하고 표현력 있는 공분산 함수를 제공한다.
• 내재 샘플링을 통해 하이퍼파arameter를 통합하고, 주변 가능도 표면의 여러 모드를 탐색하는 데 사용되는 라이브 포인트의 집합을 생성한다.
• 예측은 하이퍼파arameter의 전체 사후분포에 걸쳐 평균을 내어 더 견고한 예측 분포를 도출한다.
• 단일 GPU를 사용하여 시계열 및 2차원 회귀 과제에서 내재 샘플링을 HMC 및 ML-II 최적화와 비교한다.
• 스펙트럴 미션 커널 하이퍼파arameter에 대해 샘플링 효율성 향상과 사후분포 탐색 개선을 위해 고유한 사전분포를 제안한다.

실험 결과

연구 질문

• RQ1 스펙트럴 미션과 같은 복잡한 커널 구조를 가진 GP 하이퍼파arameter의 다모달 사후분포에서 내재 샘플링이 효과적으로 샘플링할 수 있는가?
• RQ2 내재 샘플링을 통해 하이퍼파arameter에 대한 주변화를 수행할 경우, ML-II 및 HMC에 비해 예측 불확실성과 구간 품질 측면에서 어떻게 비교되는가?
• RQ3 하이퍼파arameter 불확실성을 고려함으로써 시계열 및 회귀 과제에서 더 신뢰할 수 있고 견고한 예측 구간을 얻을 수 있는가?
• RQ4 GP 추론에 대해 전통적인 ML-II 또는 HMC와 비교했을 때 내재 샘플링의 계산적 트레이드오프는 무엇인가?

주요 결과

• ML-II에 비해 내재 샘플링은 더 넓고 더 신뢰할 수 있는 예측 구간을 생성한다. 이는 하이퍼파arameter의 점추정으로 인해 과도하게 확신하는 경향이 있기 때문이다.
• 특히 스펙트럴 미션 커널 모델에서 복잡하고 다모달리티가 있는 기하학적 특성을 가진 가능도 표면에서 여러 모드를 성공적으로 탐색한다.
• 더 복잡한 사후분포에서 샘플링을 하였음에도 불구하고, 내재 샘플링은 ML-II 학습과 비교해 상당히 빠르며, 시계열 벤치마크에서 HMC 대비 약 2배의 느림만을 보였다.
• 내재 샘플링을 사용한 주변화된 GP의 예측 성능은 특히 노이즈가 많거나 데이터가 부족한 환경에서 표준 ML-II 접근법을 뛰어넘었다.
• 실험 결과, HMC는 동일한 사후분포에서 샘플링을 하였음에도 불구하고 내재 샘플링보다 약 2배 정도 느렸다.
• 결과적으로 하이퍼파arameter에 대한 완전한 주변화가 더 견고한 성능을 이끌어내며 국소 최소값과 과적합에 대한 민감도를 감소시킴을 입증하였다.