[논문 리뷰] Sparse Additive Gaussian Process Regression

Hengrui Luo, Giovanni Nattino외 1명|arXiv (Cornell University)|2019. 08. 23.

Gaussian Processes and Bayesian Inference참고 문헌 49인용 수 10

한 줄 요약

이 논문은 대규모 데이터셋에서 효율적이고 불확실성 정량화가 가능한 회귀를 가능하게 하는 완전 베이지안 희소 가감합 가우시안 프로세스(SAGP) 회귀 모델을 제안한다. 입력 공간을 분할하고 각 분할 영역 내에서 국소적 희소 가우시안 프로세스(SGP)를 적합시킴으로써 계산 효율성과 단일 희소 GP 모델 대비 향상된 예측 성능를 달성하며, 복잡한 가짜 입력 선택과 블록 간 상관관계를 피한다.

ABSTRACT

In this paper we introduce a novel model for Gaussian process (GP) regression in the fully Bayesian setting. Motivated by the ideas of sparsification, localization and Bayesian additive modeling, our model is built around a recursive partitioning (RP) scheme. Within each RP partition, a sparse GP (SGP) regression model is fitted. A Bayesian additive framework then combines multiple layers of partitioned SGPs, capturing both global trends and local refinements with efficient computations. The model addresses both the problem of efficiency in fitting a full Gaussian process regression model and the problem of prediction performance associated with a single SGP. Our approach mitigates the issue of pseudo-input selection and avoids the need for complex inter-block correlations in existing methods. The crucial trade-off becomes choosing between many simpler local model components or fewer complex global model components, which the practitioner can sensibly tune. Implementation is via a Metropolis-Hasting Markov chain Monte-Carlo algorithm with Bayesian back-fitting. We compare our model against popular alternatives on simulated and real datasets, and find the performance is competitive, while the fully Bayesian procedure enables the quantification of model uncertainties.

연구 동기 및 목표

• 대규모 데이터셋에서 전체 가우시안 프로세스 회귀의 높은 계산 비용을 해결하기 위해.
• 단일 희소 GP 모델을 초월하여 전반적인 추세와 국소적 특징을 모두 포착함으로써 예측 성능을 향상시키기 위해.
• 모델 매개변수와 예측에 대한 원칙적인 불확실성 정량화를 가능하게 하는 완전 베이지안 프레임워크를 개발하기 위해.
• 스토케스틱 트리 기반 분할과 복잡한 블록 간 상관관계를 피함으로써 모델 구조를 단순화하기 위해.
• 다양한 간단한 국소 모델과 적은 수의 복잡한 전역 모델 사이의 조정 가능한 유연한 트레이드오프를 제공하기 위해.

제안 방법

• 모델은 입력 공간을 상호배타적인 영역으로 나누는 재귀적 분할(RP) 기법을 사용하여 국소 모델링을 가능하게 한다.
• 각 분할 영역 내에서 고정된 유도점 집합을 사용하여 희소 가우시안 프로세스(SGP)를 적합시킴으로써 계산 비용을 감소시킨다.
• 베이지안 가감합 모델은 다중 레이어의 분할된 SGP를 조합하여 예측의 계층적 정밀도 향상을 가능하게 한다.
• 모델 매개변수와 하이퍼파rameter를 동시에 추정하기 위해 베이지안 백피팅과 함께 메트로폴리스-해스팅스 MCMC 알고리즘을 사용한다.
• 고정된 분할 기반 구조를 사용함으로써 블록 간 상관관계를 피하고 가짜 입력 선택을 단순화한다.
• 조건부 분포와 유크리-항등식을 활용하여 SGP 프레임워크에서 유도된 조건부 분포를 사용해 효율적인 사후 추론을 수행한다.

실험 결과

연구 질문

• RQ1 희소 GP와 재귀적 분할을 조합한 완전 베이지안 가감합 모델이 단일 희소 GP 모델보다 더 나은 예측 성능을 달성할 수 있는가?
• RQ2 SAGP 모델은 대규모 데이터셋에서 계산 효율성과 예측 정확도 사이를 어떻게 균형 잡는가?
• RQ3 스토케스틱 트리 기반 분할 방법에 비해 고정된 재귀적 분할 기반 구조는 복잡성을 얼마나 줄이는가?
• RQ4 SAGP 모델은 비정상적인 데이터에서 전반적인 추세와 국소적 특징을 효과적으로 포착할 수 있는가?
• RQ5 완전 베이지안 프레임워크는 예측과 모델 매개변수의 불확실성을 얼마나 잘 정량화하는가?

주요 결과

• SAGP 모델은 시뮬레이션 및 실제 데이터셋 모두에서 주요 대안들과 경쟁 가능한 예측 성능를 달성한다.
• 완전 베이지안 프레임워크를 통해 매개변수와 예측에 대한 전면적인 불확실성 정량화를 가능하게 한다.
• 희소 GP를 국소적 분할 영역에 적용함으로써 계산 비용이 크게 향상되어 전체 GP 회귀의 O(n³) 비용을 감소시킨다.
• 고정된 재귀적 분할 기반 구조는 스토케스틱 트리 학습의 계산 오버헤드를 피하고 복잡한 블록 간 상관관계를 제거한다.
• 연구자들이 데이터 특성에 따라 많은 단순한 국소 모델과 적은 수의 복잡한 전역 모델 사이의 조정 가능한 트레이드오프를 설정할 수 있도록 한다.
• 1000개의 시뮬레이션 데이터셋에서 게웨케 및 하이델베르거-웰처 검사 결과 MCMC 수렴이 확인되어 신뢰할 수 있는 추론을 지원한다.