[논문 리뷰] A Tutorial on Sparse Gaussian Processes and Variational Inference

Felix Leibfried, Vincent Dutordoir외 2명|arXiv (Cornell University)|2020. 12. 27.

Gaussian Processes and Bayesian Inference참고 문헌 98인용 수 12

한 줄 요약

이 튜토리얼은 기계학습에서 베이지안 추론을 위한 확장 가능한 프레임워크로 희소 가우시안 프로세스(GPs)와 변분 추론(VI)를 소개한다. 유도 점을 통해 전체 GP 사후분포를 근사하고, VI를 통해 하이퍼파rameter와 유도 점을 함께 최적화함으로써, 회귀, 분류, 딥 GP 아키텍처에 대해 효율적이고 불확실성 인식 모델링이 가능한 통합된 접근법을 제시한다. 이는 시뮬레이션 및 실세계 데이터에서 입증된 성능을 보인다.

ABSTRACT

Gaussian processes (GPs) provide a framework for Bayesian inference that can offer principled uncertainty estimates for a large range of problems. For example, if we consider regression problems with Gaussian likelihoods, a GP model enjoys a posterior in closed form. However, identifying the posterior GP scales cubically with the number of training examples and requires to store all examples in memory. In order to overcome these obstacles, sparse GPs have been proposed that approximate the true posterior GP with pseudo-training examples. Importantly, the number of pseudo-training examples is user-defined and enables control over computational and memory complexity. In the general case, sparse GPs do not enjoy closed-form solutions and one has to resort to approximate inference. In this context, a convenient choice for approximate inference is variational inference (VI), where the problem of Bayesian inference is cast as an optimization problem -- namely, to maximize a lower bound of the log marginal likelihood. This paves the way for a powerful and versatile framework, where pseudo-training examples are treated as optimization arguments of the approximate posterior that are jointly identified together with hyperparameters of the generative model (i.e. prior and likelihood). The framework can naturally handle a wide scope of supervised learning problems, ranging from regression with heteroscedastic and non-Gaussian likelihoods to classification problems with discrete labels, but also problems with multidimensional labels. The purpose of this tutorial is to provide access to the basic matter for readers without prior knowledge in both GPs and VI. A proper exposition to the subject enables also access to more recent advances (like importance-weighted VI as well as interdomain, multioutput and deep GPs) that can serve as an inspiration for new research ideas.

연구 동기 및 목표

• 이 주제에 대해 배경 지식이 없는 연구자들에게 희소 가우시안 프로세스와 변분 추론에 대한 자립적인 소개를 제공하는 것.
• 희소 GPs와 VI의 통합적 접근을 제시하여, 회귀 및 분류에서 확장 가능하고 불확실성 인식 모델링이 가능한 방법을 보여주는 것.
• 유도 점과 모델 하이퍼파rameter를 변분 추론을 통해 함께 최적화할 수 있는 유연한 프레임워크를 제시하는 것.
• 비정규 분포 우도, 다중출력, 딥 GP 모델과 같은 복잡한 문제들에 대한 적용 가능성을 보여주는 것.
• 중요도 가중치가 부여된 VI, 상호 도메인 GPs, 베이지안 딥 러닝과 같은 최근 발전들을 이해하고 발전시키기 위한 기초를 제공하는 것.

제안 방법

• 사용자가 정의한 유도 점의 집합을 도입하여 전체 사후 GP를 근사함으로써, 계산 복잡도를 O(N³)에서 O(M³)로 감소시켜, M ≪ N이 되도록 하여 계산 효율성을 확보한다.
• 사후분포의 비가역성을 극복하기 위해, 마진널 리크리티의 하한을 최대화하는 변분 추론을 사용하여 근사한다 (ELBO).
• 유도 점과 모델 하이퍼파rameter를 함께 최적화할 수 있는 변분 매개변수로 간주한다.
• 비공액 우도(예: 분류의 베르누이 우도, 회귀의 이질적 분산 가우시안 우도)를 다루기 위해 증거 하한(ELBO)을 적용한다.
• 잠재변수 기반 변분 추론을 적용하여, 신경망을 통한 암시적 추론을 통해 복잡한 데이터를 모델링할 수 있도록 한다.
• 중요도 가중치가 부여된 변분 추론과 잠재변수 확장 기법을 도입하여, 사후분포 근사 품질과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 희소 가우시안 프로세스는 어떤 방식으로 대규모 데이터셋에 대해 계산 효율성을 확보하면서도 불확실성 정량화를 유지할 수 있는가?
• RQ2 변분 추론은 희소 GP 모델에서 사후분포를 근사하는 데 어떤 역할을 하는가? 그리고 유도 점과 하이퍼파rameter를 함께 최적화하는 데 어떻게 기여하는가?
• RQ3 잠재변수 기반 변분 추론은 복잡한 계층적 또는 비정규 분포 데이터를 모델링하기 위해 희소 GPs와 어떻게 통합될 수 있는가?
• RQ4 중요도 가중치가 부여된 변분 추론은 희소 GP 모델에서 사후분포 근사 품질을 향상시키는 데 어떤 이점이 있는가?
• RQ5 다양한 희소 GP 아키텍처(단순, 딥, 다중출력, 상호 도메인)는 시뮬레이션 및 실세계 작업에서 성능 면에서 어떻게 비교되는가?

주요 결과

• 희소 GPs는 훈련 데이터 포인트 수를 N에서 M으로 줄여 계산 복잡도를 크게 절감하며, 일반적으로 M ≪ N 이므로 대규모 데이터셋에 대한 확장성이 보장된다.
• 변분 추론 프레임워크는 유도 점과 하이퍼파rameter를 함께 최적화함으로써, 더 나은 사후분포 근사와 예측 성능을 이끌어낸다.
• 중요도 가중치가 부여된 변분 추론은 ELBO의 품질을 향상시키고, 표준 VI보다 더 나은 불확실성 추정을 가능하게 한다.
• 잠재변수 기반 희소 GP 모델은 보조 잠재변수를 도입함으로써, 딥 생성 모델에서와 같은 복잡한 데이터 구조를 효과적으로 포착할 수 있다.
• 이 프레임워크는 다중출력, 상호 도메인, 딥 GP 모델로 자연스럽게 일반화되어 다양한 지도학습 작업에서 불확실성 인식 학습을 가능하게 한다.
• 시뮬레이션 데이터에 대한 실증 결과는, 특히 중요도 가중치가 부여된 VI를 사용한 모델이 표준 희소 GP 기반 모델보다 예측 정확도와 불확실성 캘리브레이션 면에서 뛰어난 성능을 보였다.