[논문 리뷰] Variational Inference for Uncertainty on the Inputs of Gaussian Process Models

Andreas Damianou, Michalis K. Titsias외 1명|arXiv (Cornell University)|2014. 09. 08.

Gaussian Processes and Bayesian Inference참고 문헌 64인용 수 24

한 줄 요약

이 논문은 최대우도 기반으로 학습되는 전통적인 GP-LVM에서의 과적합 및 자동 차원 선택 기능 부족 문제를 해결하기 위해, 잠재 입력을 통합하고 최대화하지 않는 변분 추론 프레임워크를 제안한다. 이는 강건한 자동 차원 선택과 불확실성 정량화를 가능하게 하며, 변분 하한을 최적화하기 위해 비표준 변분 근사법을 사용한다. 이는 합성 데이터, 벤치마크 데이터 및 고해상도 비디오 데이터에서 향상된 일반화 성능을 보여준다.

ABSTRACT

The Gaussian process latent variable model (GP-LVM) provides a flexible approach for non-linear dimensionality reduction that has been widely applied. However, the current approach for training GP-LVMs is based on maximum likelihood, where the latent projection variables are maximized over rather than integrated out. In this paper we present a Bayesian method for training GP-LVMs by introducing a non-standard variational inference framework that allows to approximately integrate out the latent variables and subsequently train a GP-LVM by maximizing an analytic lower bound on the exact marginal likelihood. We apply this method for learning a GP-LVM from iid observations and for learning non-linear dynamical systems where the observations are temporally correlated. We show that a benefit of the variational Bayesian procedure is its robustness to overfitting and its ability to automatically select the dimensionality of the nonlinear latent space. The resulting framework is generic, flexible and easy to extend for other purposes, such as Gaussian process regression with uncertain inputs and semi-supervised Gaussian processes. We demonstrate our method on synthetic data and standard machine learning benchmarks, as well as challenging real world datasets, including high resolution video data.

연구 동기 및 목표

• 최대우도 기반 학습 방식으로 인해 발생하는 과적합 및 자동 차원 선택 기능 부족 문제를 해결하기 위해.
• 잠재 변수를 최대화하는 대신 통합하는 베이지안 프레임워크를 개발하여 일반화 성능 향상과 불확실성 추정 개선을 위해.
• 일괄적인 변분 추론 접근법을 통해 시간적으로 상관관계가 있는 관측치와 불확실한 입력을 처리할 수 있도록 GP-LVM를 확장하기 위해.
• 운동 캡처 및 비디오 시퀀스와 같은 복잡한 고차원 데이터에 대해 스케일러블하고 강건한 GP-LVM 학습을 가능하게 하기 위해.

제안 방법

• GP-LVM의 잠재 입력에 대한 진정한 후행분포를 근사하기 위해 비표준 변분 추론 프레임워크를 도입한다.
• 잠재 변수의 불확실성을 표현하기 위해 가우시안 변분 근사 $ q(Θ) = \mathcal{N}(\hat{\bm{\mu}}, \hat{\mathbf{S}}) $ 를 사용한다. 여기서 $ \Theta $ 는 잠재 입력 행렬을 나타낸다.
• 기대 가능도의 해석 가능한 하한을 유도하며, 이는 모델 학습을 위해 최대화되며, 계산이 불가능한 적분을 피한다.
• 상태공간 공식화를 통해 i.i.d. 관측치와 시간적 의존성이 있는 비선형 역학 시스템 양쪽 모두에 프레임워크를 적용한다.
• 차원 선택을 위해 커널에 자동 관련성 결정(ARD)을 적용하여 불필요한 잠재 차원을 제거한다.
• 관측된 입력을 노이즈가 있는 또는 잠재 변수로 간주함으로써, 반감지 학습 및 불확실한 입력이 있는 회귀 문제에 모델을 확장한다.

실험 결과

연구 질문

• RQ1 GP-LVM에서 잠재 입력에 대한 변분 추론이 최대우도 학습 대비 과적합에 대해 더 강건한가?
• RQ2 제안된 프레임워크는 수동 튜닝 없이 최적의 잠재 공간 차원을 자동으로 결정할 수 있는가?
• RQ3 이 방법은 운동 캡처 시퀀스와 같은 시간적으로 상관관계 있는 데이터에 대해 얼마나 잘 일반화되는가?
• RQ4 학습 분포 외부의 잠재 공간에서 샘플링을 통해 기존 데이터에 없는 새로운, 타당한 데이터 포인트를 생성할 수 있는가?

주요 결과

• 변분 GP-LVM는 합성 데이터 및 실제 세계 데이터(고해상도 비디오 데이터 포함)에서 과적합에 대한 강건성과 일반화 성능이 뛰어나다.
• ARD 커널 가중치를 통해 잠재 공간의 효과적 차원을 자동으로 선택하며, 일부 차원은 실제로 제거된다(예: 영이 되는 스케일 가중치는 관련 없는 차원을 나타낸다).
• 운동 캡처 데이터에서는 '걷기'와 '달리기' 모드가 잠재 공간의 별개의 부분공간으로 분리되며, 한 차원(예: 차원 4)이 두 모드를 분리한다.
• 잠재 공간에서 샘플링을 통해 훈련 세트에 없는 부드럽고 타당한 새로운 운동을 생성할 수 있어, 모델의 생성 능력을 입증한다.
• 역학적 변분 GP-LVM의 예측 성능는 최근접이웃 기반 벤치마크를 능가하며, 벤치마크 데이터셋에서 최첨단 성능을 달성하거나 초월한다.
• 입력을 잠재 변수로 간주하고 학습된 분포를 갖게 함으로써, 불확실성 인식 회귀 및 반감지 학습을 가능하게 한다.