[논문 리뷰] Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models - a Gentle Tutorial

Yarin Gal, Mark van der Wilk|arXiv (Cornell University)|2014. 02. 06.

Gaussian Processes and Bayesian Inference참고 문헌 7인용 수 7

한 줄 요약

이 튜토리얼은 희소 가우시안 프로세스 회귀 및 가우시안 프로세스 잠재변수모델(GPLVM)에 대한 변분 추론의 종합적인 유도를 제시하며, 대규모 데이터셋에서 분산형으로 확장 가능한 추론을 가능하게 하는 재구성(reparameterization)을 도입한다. 주요 기여는 초모수, 유도점, 잠재변수에 대한 명시적 편미분을 포함하는 통합적이고 완전히 유도 가능한 프레임워크로, 이는 병렬 GP 모델의 확장 및 구현에 필수적이다.

ABSTRACT

In this tutorial we explain the inference procedures developed for the sparse Gaussian process (GP) regression and Gaussian process latent variable model (GPLVM). Due to page limit the derivation given in Titsias (2009) and Titsias & Lawrence (2010) is brief, hence getting a full picture of it requires collecting results from several different sources and a substantial amount of algebra to fill-in the gaps. Our main goal is thus to collect all the results and full derivations into one place to help speed up understanding this work. In doing so we present a re-parametrisation of the inference that allows it to be carried out in parallel. A secondary goal for this document is, therefore, to accompany our paper and open-source implementation of the parallel inference scheme for the models. We hope that this document will bridge the gap between the equations as implemented in code and those published in the original papers, in order to make it easier to extend existing work. We assume prior knowledge of Gaussian processes and variational inference, but we also include references for further reading where appropriate.

연구 동기 및 목표

• 희소 가우시안 프로세스 모델의 게시된 수식과 코드 구현 간 격차를 메우기 위해.
• 희소 GP 회귀 및 GPLVM에 대한 변분 하한의 완전하고 자가 포함된 유도를 제공하여 문헌에서 자주 생략되는 격차를 메우기 위해.
• 모델을 조건부로 데이터에서 분리시켜 분산형 최적화를 가능하게 하는 재구성으로 대규모 데이터셋에서의 확장 가능한 분산 추론을 가능하게 하기 위해.
• 핵심 변수인 커널 초모수, 유도점 위치, 잠재 입력(임beddings)에 대한 모든 부분 도함수의 명시적 분석적 유도를 제공하기 위해.
• 수식을 직접적으로 오픈소스 소프트웨어의 계산적 대응 요소와 연결하여 코드 확장 및 구현을 지원하기 위해.

제안 방법

• 논문은 데이터를 조건부로 분리시키는 재구성 기법을 사용하여 희소 GP 회귀 및 GPLVM에 대한 변분 하한을 유도한다. 이는 분산 최적화를 가능하게 한다.
• 함수 값에 대한 가우시안 근사 $ q(F|X) $ 와 잠재 입력에 대한 변분 분포 $ q(X_i) = \mathcal{N}(X_i; \mu_i, S_i) $ 를 사용한다.
• 잠재 함수를 통합하고 입력 분포에 대한 기대값을 모멘트 매칭을 통해 근사함으로써 하한 $ \mathcal{F} $ 를 유도한다.
• 핵심 구성 요소로는 $ \langle K_{mi}^{X_i} \rangle_{q(X_i)} $, $ \langle K_{mi}^{X_i}K_{im}^{X_i} \rangle_{q(X_i)} $, 그리고 입력에 대한 변분 및 사전 분포 간 KL 발산이 포함된다.
• 모든 매개변수에 대해 분석적 부분 도함수를 유도한다: $ \mu_i $, $ S_i $, 커널 초모수(예: ARD를 적용한 RBF), $ \beta $, 그리고 유도점 위치.
• 정확한 기울기들을 사용하여 커널 초모수와 잠재 변수를 동시에 최적화할 수 있으며, 이는 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 희소 GP 회귀 및 GPLVM에 대한 변분 하한은 모든 중간 단계를 포함해 어떻게 완전히 유도할 수 있는가?
• RQ2 어떤 재구성 기법이 이 모델들에서 분산형 및 확장 가능한 추론을 가능하게 하는가?
• RQ3 모든 모델 매개변수, 특히 잠재 입력과 유도점에 대해 정확한 부분 도함수를 어떻게 계산할 수 있는가?
• RQ4 변분 목표 함수에 대한 노이즈 정밀도 $ \beta $ 에 대한 기울기의 분석적 형태는 무엇인가?
• RQ5 잠재 입력에 대한 변분 및 사전 분포 간 KL 발산을 효율적으로 계산하고 미분하려면 어떻게 해야 하는가?

주요 결과

• 유도된 변분 하한은 Titsias & Lawrence (2010)의 결과와 수학적으로 동일하지만, 재구성 덕분에 분산 추론이 가능하다.
• $ \mu_{iq} $, $ S_{iq} $, $ \beta $ 에 대한 하한의 부분 도함수는 명시적으로 유도되어 모든 모델 매개변수의 기울기 기반 최적화를 가능하게 한다.
• $ \mu_{iq} $ 에 대한 기울기는 $ \alpha_q(\mu_{iq} - Z_{mq}) / (\alpha_q S_{iq} + 1) $ 비례하는 항을 포함하며, 이는 잠재 입력 위치에 대한 민감도를 반영한다.
• KL 발산 $ KL(q(X_i) || p(X_i)) $ 이 $ \mu_i $ 에 대해 미분한 결과는 $ \mu_i $ 이며, $ S_{iq} $ 에 대해 미분한 결과는 $ \frac{1}{2}(1 - 1/S_{iq}) $ 이다.
• $ \beta $ 에 대한 기울기는 행렬 역행렬과 행렬 곱의 트레이스를 포함하는 항들로 구성되며, 행렬 미적분 항법을 사용하여 유도된다.
• 완전한 유도 과정은 커널 초모수와 잠재 변수의 확장 가능한 병렬 최적화를 지원하여 대규모 데이터셋에의 적용을 가능하게 한다.