[논문 리뷰] Variational Auto-encoded Deep Gaussian Processes

Zhenwen Dai, Andreas Damianou외 2명|arXiv (Cornell University)|2015. 11. 19.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 63

한 줄 요약

이 논문은 깊이 있는 가우시안 프로세스(DGP)와 인식 모델(다층 퍼셉트론)을 결합한 확률적 비모수적 생성 모델인 변분 오토인코더-기반 깊이 있는 가우시안 프로세스(VAE-DGP)를 소개한다. 이 모델은 효율적이고 분산된 변분 추론을 가능하게 하여 대규모 데이터셋에서 효과적인 딥 비지도 학습과 베이지안 최적화를 수행할 수 있다. 인식 네트워크를 통해 변분 사후분포를 재파arameterization함으로써, 데이터셋 크기에 비례해 선형적으로 증가하는 변분 파라미터를 피하고, 분산된 변분 하한을 유도한다. 이로 인해 불확실성 정량화와 예측 정확도가 향상된 대규모 데이터셋에서의 효율적인 깊이 있는 비지도 학습이 가능해진다.

ABSTRACT

We develop a scalable deep non-parametric generative model by augmenting deep Gaussian processes with a recognition model. Inference is performed in a novel scalable variational framework where the variational posterior distributions are reparametrized through a multilayer perceptron. The key aspect of this reformulation is that it prevents the proliferation of variational parameters which otherwise grow linearly in proportion to the sample size. We derive a new formulation of the variational lower bound that allows us to distribute most of the computation in a way that enables to handle datasets of the size of mainstream deep learning tasks. We show the efficacy of the method on a variety of challenges including deep unsupervised learning and deep Bayesian optimization.

연구 동기 및 목표

• 대규모 데이터셋에서 깊이 있는 가우시안 프로세스(DGP)의 확장성 한계를 해결하기 위해 변분 추론을 재구성한다.
• 인식 모델을 통해 DGP에서 각 샘플에 대한 변분 파라미터가 필요 없도록 최적화를 단순화한다.
• 주류 딥 러닝 데이터셋에서 효율적인 계산을 가능하게 하는 분산된 변분 하한을 개발한다.
• 개선된 불확실성 정량화를 통해 딥 비지도 학습과 베이지안 최적화에서 모델의 효과성을 입증한다.
• 비모수적 베이지안 모델의 적용 가능성을 대규모이고 복잡한 생성 모델링 작업으로 확장한다.

제안 방법

• 다층 퍼셉트론(MLP) 인식 모델을 깊이 있는 가우시안 프로세스에 추가하여 변분 사후분포를 매개변수화한다.
• 인식 네트워크를 통해 변분 사후분포를 재파arameterization함으로써 추론 과정을 데이터 크기에서 분리하고, 변분 파라미터의 선형 증가를 방지한다.
• 계산을 레이어 간에 분산시키고 미니배치 학습을 가능하게 하기 위해 변분 하한의 새로운 분산형식을 유도한다.
• 계산이 불가능한 사후 기대값을 근사하기 위해 몬테카를로 샘플링을 사용하는 확률적 변분 추론을 사용한다.
• 각 레이어의 잠재 변수를 GP 사전분포로 모델링하고, 인식 네트워크가 관측치를 근사 사후 평균으로 매핑하는 계층적 구조를 채택한다.
• Duvenaud 등(2014)의 깊이 있는 GP 수정 방식을 적용하여 입력층에서 출력층으로 직접 연결을 추가함으로써 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 인식 모델을 사용하여 깊이 있는 가우시안 프로세스를 대규모 데이터셋으로 확장할 수 있는가?
• RQ2 제안된 분산된 변분 하한 형식이 대규모 데이터셋에서 효율적인 학습을 가능하게 하는가?
• RQ3 VAE-DGP 모델이 딥 비지도 및 지도 학습 과제에서 표준 GP와 선형 회귀보다 우수한 성능을 내는가?
• RQ4 VAE-DGP 모델이 베이지안 최적화에서 복잡하고 비정상적인 함수 구조를 얼마나 잘 포착하는가?
• RQ5 인식 모델이 모델 표현력 유지와 동시에 각 샘플에 대한 변분 파라미터가 필요 없도록 할 수 있는가?

주요 결과

• Abalone 데이터셋에서 VAE-DGP는 평균 제곱 오차(MSE) 825.31 ± 64.35를 기록하여 표준 GP(888.96 ± 78.22)와 선형 회귀(917.31 ± 53.76)를 모두 초월했다.
• Creep 데이터셋에서 VAE-DGP는 MSE 575.39 ± 29.10을 기록하여 GP(602.11 ± 29.59)와 선형 회귀(1865.76 ± 23.36)보다 유의미하게 뛰어났다.
• 비정상적인 Branin 함수에서의 베이지안 최적화에서, VAE-DGP는 다중 모odal 및 비정상적인 출력 분포를 더 잘 모델링하여 초기 최적화 단계에서 표준 GP를 능가했다.
• 분산된 변분 하한 형식 덕분에 계산을 레이어 간에 분산시키고 메모리 병목 현상을 최소화함으로써 대규모 데이터셋에서의 효율적 학습이 가능했다.
• 인식 모델이 사후분포를 효과적으로 매개변수화하여 각 샘플에 대한 변분 파라미터가 필요 없어지고 최적화가 단순화되었다.
• 불확실성 정량화와 예측 정확도 향상으로 인해 비지도 표현 학습과 지도 회귀 과제 모두에서 뛰어난 성능을 보였다.