[논문 리뷰] Nested Variational Compression in Deep Gaussian Processes

James Hensman, Neil D. Lawrence|arXiv (Cornell University)|2014. 12. 03.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 43

한 줄 요약

이 논문은 깊이 있는 가우시안 프로세스(DGPs)에서 근사 추론을 향상시키기 위해 내재된 변분 압축을 도입한다. 이는 확장 가능한, 병렬 처리 가능한, 확률적 변분 추론을 가능하게 한다. 이 방법은 주변 가능도에 대한 더 날카운 계량을 제공하여, 로봇 경로 재구성 및 얼굴 자동에코딩과 같은 복잡한 계층적 데이터 구조를 기존 GP나 얕은 모델보다 더 효과적으로 모델링할 수 있도록 한다.

ABSTRACT

Deep Gaussian processes provide a flexible approach to probabilistic modelling of data using either supervised or unsupervised learning. For tractable inference approximations to the marginal likelihood of the model must be made. The original approach to approximate inference in these models used variational compression to allow for approximate variational marginalization of the hidden variables leading to a lower bound on the marginal likelihood of the model [Damianou and Lawrence, 2013]. In this paper we extend this idea with a nested variational compression. The resulting lower bound on the likelihood can be easily parallelized or adapted for stochastic variational inference.

연구 동기 및 목표

• 깊이 있는 가우시안 프로세스(DGPs)에서 정확한 추론이 불가능한 문제를 해결하여, 대규모 또는 복잡한 데이터 세트에 대한 적용을 제한한다.
• 변분 압축을 내재된 구조로 확장하여 DGPs의 변분 추론 프레임워크를 향상시키고 주변 가능도에 대한 하한을 개선한다.
• 대규모 데이터 응용에 적합한 확장 가능하고 병렬 처리 가능한, 그리고 확률적 변분 추론을 가능하게 하기 위해 DGPs에서 효율적인 추론을 가능하게 한다.
• 지도 학습 및 비지도 학습 설정 모두에서 계층적 비선형 표현을 학습할 수 있는 능력을 입증한다. 예를 들어, 로봇 경로 재구성 및 얼굴 데이터 자동에코딩 등.

제안 방법

• DGP의 여러 계층에 걸쳐 반복적으로 변분 추론을 적용하는 내재된 변분 압축 프레임워크를 제안하여, 은닉 함수의 사후 분포 근사치를 향상시킨다.
• 데이터 포인트 간에 분해되는 주변 가능도에 대한 하한을 유도하여, 확률적 최적화와 병렬 처리를 가능하게 한다.
• 각 계층의 함수 공간에 가우시안 프로세스 사전분포를 통합하고, 중간 잠재 변수의 사후 분포를 압축하는 변분 근사치를 사용한다.
• 각 계층의 사후 분포가 이전 계층의 변분 분포에 조건화된 구조적 변분 근사치를 사용하여, 종단 간의 미분 가능성을 확보하고 L-BFGS-B를 통한 최적화를 가능하게 한다.
• 동일한 데이터를 입력 및 출력으로 사용하는 비지도 학습(예: 프리 프리 얼굴 자동에코딩)과 지도 학습(예: 로봇 경로 예측) 작업에 이 프레임워크를 적용한다.
• 계층 간의 GP 사전분포 조합을 통해 부드러움과 계층적 구조 등의 강력한 유도적 사전 지식을 깊이 있는 구조를 통해 유도한다.

실험 결과

연구 질문

• RQ1 기존의 변분 압축과 비교해 볼 때, 내재된 변분 압축은 깊이 있는 가우시안 프로세스에서 주변 가능도에 대한 더 날카운 계량과 확장 가능성을 제공할 수 있는가?
• RQ2 내재된 구조는 복잡한 데이터, 예를 들어 로봇 궤적 신호에서 계층적이고 비선형적인 특징을 어떻게 더 잘 포착할 수 있는가?
• RQ3 내재된 변분 추론을 갖춘 깊이 있는 가우시안 프로세스는 얼굴 이미지 자동에코딩과 같이 비지도 표현 학습을 어느 정도 잘 수행할 수 있는가?
• RQ4 이 방법은 확률적이고 병렬 처리 가능한 추론을 지원하여 대규모 데이터 세트에 적용 가능한가?
• RQ5 DGP 모델의 구조적 사전 지식은 실세계 신호에서 이질적 데이터나 누락된 데이터에 대해 얼마나 강건한가?

주요 결과

• 내재된 변분 압축 프레임워크는 주변 가능도에 대한 더 날카운 하한을 생성하여 깊이 있는 가우시안 프로세스에서 근사 추론의 품질을 향상시킨다.
• 이 방법은 데이터 포인트 간에 하한을 분해함으로써 확장 가능하고 병렬 처리 가능한, 그리고 확률적 변분 추론을 가능하게 하여 DGPs를 더 큰 데이터 세트에 적용 가능하게 한다.
• 로봇 경로 재구성에서 첫 번째 은닉 계층은 위상적으로 정확한 고리 구조를 학습하였고, 두 번째 계층은 모서리와 같은 구조적 특징을 포착하여 계층적 특징 학습을 보여주었다.
• 깊이 있는 GP 아키텍처에서 유도된 강력한 구조적 사전 지식 덕분에, 이질적 데이터(예: t=0.85 시점)를 견고하게 처리했고, 데이터 갭(예: t=0.2 시점)에서도 타당한 신호 구조를 예측할 수 있었다.
• 프리 프리 얼굴 데이터 세트 자동에코딩에서, 모델는 시간 순서를 무시한 상태에서 훈련한 후에도 시각적 구조를 유지하는 의미 있는 저차원 잠재 표현을 학습하였다.
• 다양한 실행에서 일관된 잠재 표현을 얻었고, 혼합 분포를 통한 변분 근사치의 조합을 통해 모델 성능을 추가로 향상시킬 수 있었다.