[논문 리뷰] Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression

Haibin Yu, Trong Nghia Hoang외 2명|arXiv (Cornell University)|2017. 11. 01.

Gaussian Processes and Bayesian Inference참고 문헌 45인용 수 6

한 줄 요약

이 논문은 변동성 있는 변분 추론 프레임워크를 제안하며, 베이지안 희소 가우시안 프로세스 회귀(VBSGPR)에 적용하여 유도 변수와 하이퍼파rameter를 변분 매개변수로 함께 최적화함으로써, 반복당 일정 시간 내에서 확장 가능한 스트리밍 최적화를 가능하게 한다. 이 방법은 편향이 없는 스트리밍 기울기를 통해 渐진 수렴을 달성하며, 대규모 데이터셋에서 뛰어난 성능을 보이며 하이퍼파rameter에 대한 전체 사후 분포 추론을 통해 불확실성 정량화를 유지한다.

ABSTRACT

This paper presents a novel variational inference framework for deriving a family of Bayesian sparse Gaussian process regression (SGPR) models whose approximations are variationally optimal with respect to the full-rank GPR model enriched with various corresponding correlation structures of the observation noises. Our variational Bayesian SGPR (VBSGPR) models jointly treat both the distributions of the inducing variables and hyperparameters as variational parameters, which enables the decomposability of the variational lower bound that in turn can be exploited for stochastic optimization. Such a stochastic optimization involves iteratively following the stochastic gradient of the variational lower bound to improve its estimates of the optimal variational distributions of the inducing variables and hyperparameters (and hence the predictive distribution) of our VBSGPR models and is guaranteed to achieve asymptotic convergence to them. We show that the stochastic gradient is an unbiased estimator of the exact gradient and can be computed in constant time per iteration, hence achieving scalability to big data. We empirically evaluate the performance of our proposed framework on two real-world, massive datasets.

연구 동기 및 목표

• 기존의 변분 희소 GP 모델이 반복당 선형 시간 복잡도를 유발하는 문제로 인해 발생하는 확장성 한계를 해결하기 위해.
• 유도 변수와 하이퍼파rameter를 변분 매개변수로 함께 다루는 통합 프레임워크를 개발하여 분해 가능한 변분 하한을 가능하게 하기 위해.
• 반복당 일정 시간 복잡도를 유지하면서도 점점 최적의 변분 근사에 수렴하는 스트리밍 최적화를 가능하게 하기 위해.
• 하이퍼파arameter에 대한 전체 베이지안 추론을 지원하여 모델 매개변수의 불확실성을 포착함으로써 후속 작업의 강건성 향상시키기 위해.
• 대규모 실세계 데이터셋에서 프레임워크를 경험적으로 검증하여 확장성과 예측 정확도를 입증하기 위해.

제안 방법

• 유도 변수와 하이퍼파arameter를 변분 매개변수로 함께 다루기 때문에 분해 가능한 변분 하한을 정의한다.
• 변분 하한에 대해 스트리밍 기울기 상승법을 적용하며, 데이터의 미니배치를 사용해 기울기를 효율적으로 계산한다.
• 스트리밍 기울기는 진짜 기울기의 편향 없는 추정량이며, 데이터셋 크기와 무관하게 반복당 일정 시간 내에 계산된다.
• 유도 입력과 노이즈 구조를 포함하는 구조화된 변분 근사 approximation을 사용하여 예측 평균과 분산을 효율적으로 계산한다.
• 닫힌 형태의 기대값이 계산이 불가능하므로, 하이퍼파라미터의 변분 사후 분포에 대한 몬테카를로 샘플링을 통해 예측 분포를 계산한다.
• 온라인 및 분산 확장 기능을 지원하여 스트리밍 및 대규모 데이터에 적합하다.

실험 결과

연구 질문

• RQ1 희소 GP 회귀를 위한 변분 추론 프레임워크를 설계하여, 유도 변수와 하이퍼파aram터를 모두 변분 매개변수로 함께 최적화할 수 있는가?
• RQ2 이러한 프레임워크는 반복당 일정 시간 복잡도를 유지하면서도 수렴 보장을 확보할 수 있는가?
• RQ3 이 방법은 수백만 개의 데이터셋에 확장 가능할 수 있으며, 하이퍼파라미터 추정치의 불확실성 정량화를 유지할 수 있는가?
• RQ4 제안된 VBSGPR 모델의 예측 성능은 대규모 실세계 데이터에서 기존의 희소 GP 방법보다 어떻게 비교되는가?
• RQ5 점추정 기반 접근법에 비해 예측 불확실성 캘리브레이션은 유지되거나 향상되는가?

주요 결과

• 제안된 VBSGPR 프레임워크는 스트리밍 기울기 업데이트에 대해 일정 시간 계산을 달성하여, 수백만 개의 데이터 포인트를 포함하는 대규모 데이터에 대한 확장성을 확보한다.
• 스트리밍 기울기는 진짜 기울기의 편향 없는 추정량이며, 최적의 변분 근사에 점점 수렴함을 보장한다.
• 두 개의 대규모 실세계 데이터셋에서 기존의 변분 희소 GP 모델보다 예측 정확도와 불확실성 캘리브레이션 측면에서 뛰어난 성능을 보인다.
• 하이퍼파라미터에 대한 전체 사후 분포를 학습함으로써 매개변수의 불확실성을 포착하여, 점추정 방법에 비해 과적합 위험을 줄인다.
• 분해 가능한 변분 하한 덕분에 효율적인 스트리밍 최적화가 가능하여, 이전의 변분 GP 접근법에서 발생하던 선형 시간 복잡도 문제를 해결한다.
• 경험 결과는 프레임워크가 대규모 데이터에 대해 효율적으로 확장되면서도 높은 예측 성능를 유지함을 확인한다.