[논문 리뷰] Gaussian Process Prior Variational Autoencoders

Francesco Paolo Casale, Adrian V. Dalca외 3명|arXiv (Cornell University)|2018. 10. 28.

Gaussian Processes and Bayesian Inference참고 문헌 48인용 수 19

한 줄 요약

이 논문은 표준 VAE의 i.i.d. 잠재 prior를 고려한 가우시안 프로세스 prior로 대체하여 데이터 샘플 간 상관관계를 모델링할 수 있는 생성 모델인 가우시안 프로세스 사전 확률 변동 오토인코더(GPPVAE)를 제안한다. 이는 순차적 또는 구조화된 데이터에 특히 유용하다. 저랭크 공분산 구조와 새로운 스토하스틱 백프로파게이션 전략을 활용하여, 메모리 효율적이고 효율적인 학습이 가능하며, 기울어진 MNIST 및 얼굴 자세 데이터셋에서 이미지 생성 및 보간 작업에서 최신 기술 수준의 성능을 달성하여 CVAE와 표준 VAE를 능가한다.

ABSTRACT

Variational autoencoders (VAE) are a powerful and widely-used class of models to learn complex data distributions in an unsupervised fashion. One important limitation of VAEs is the prior assumption that latent sample representations are independent and identically distributed. However, for many important datasets, such as time-series of images, this assumption is too strong: accounting for covariances between samples, such as those in time, can yield to a more appropriate model specification and improve performance in downstream tasks. In this work, we introduce a new model, the Gaussian Process (GP) Prior Variational Autoencoder (GPPVAE), to specifically address this issue. The GPPVAE aims to combine the power of VAEs with the ability to model correlations afforded by GP priors. To achieve efficient inference in this new class of models, we leverage structure in the covariance matrix, and introduce a new stochastic backpropagation strategy that allows for computing stochastic gradients in a distributed and low-memory fashion. We show that our method outperforms conditional VAEs (CVAEs) and an adaptation of standard VAEs in two image data applications.

연구 동기 및 목표

• 표준 VAE가 샘플 간에 i.i.d. 잠재 표현을 가정하는 데서 비롯되는 제약을 해결하고자 하며, 이는 시간 시리즈나 다수의 주제 또는 자세에서 온 이미지와 같은 구조화된 데이터에 대해 현실적이지 않다.
• 일반적으로 전체 공분산 행렬로 인해 삼차원 계산 복잡도를 겪는 VAE에 대한 GP 사전 확률를 갖는 모델의 확장 가능하고 메모리 효율적인 추론 방법을 개발하고자 한다.
• 고차원 데이터에서 다수 수준의 상관관계(예: 시간, 개체 정체성, 자세)를 효과적으로 모델링하기 위해 잠재 표현에 대한 구조화된 커널 함수를 학습하고자 한다.
• GP 사전 확률를 VAE에 통합함으로써, 표준 VAE와 CVAE에 비해 분포 외 생성 및 보간 작업에서 성능 향상이 이루어지는지 입증하고자 한다.

제안 방법

• VAE의 i.i.d. 사전 확률를 잠재 코드에 대한 GP 사전 확률로 대체하는 GPPVAE 모델을 도입하여, 커널 함수를 통해 샘플 간 상관관계 모델링이 가능하다.
• GP 공분산 행렬의 저랭크 분해를 활용하여 계산 복잡도를 O(N³)에서 O(NK²)로 감소시킨다. 여기서 K ≪ N은 근사의 랭크이다.
• GP 사전 확률에 의해 유도되는 비-i.i.d. 구조에도 불구하고, 편향 없는 미니배치 기반 기울기 추정이 가능한 새로운 스토하스틱 백프로파게이션 전략을 개발하였다.
• 각각 시각별(예: 회전, 자세) 및 개체별(예: 정체성) 특징을 조합한 복합 커널 함수를 사용하여 잠재 공간 내 다수 수준의 상관관계를 모델링한다.
• 변동 추론과 암시적 추론 네트워크를 활용하여, 스토하스틱 경사 하강법을 통해 인코더, 디코더 및 GP 초모수를 동시에 최적화한다.
• VAE와 GP 구성요소를 동시에 최적화하는 통합 학습 전략(GPPVAE-joint)과 비교를 위한 분리된 변형(GPPVAE-dis)을 적용한다.

실험 결과

연구 질문

• RQ1 GP 사전 확률를 통해 잠재 공간 내 샘플 간 상관관계를 모델링함으로써, 순차적 또는 구조화된 이미지 데이터에 대한 생성 모델링 성능 향상이 가능한가?
• RQ2 전체 GP 추론의 높은 계산 비용으로 인해, GP 사전 확률를 갖는 VAE에서 효율적이고 확장 가능한 추론을 어떻게 달성할 수 있는가?
• RQ3 GPPVAE 모델은 구조화된 데이터에서 개체 정체성 및 시각(예: 자세 또는 회전)과 같은 요소들을 의미 있는 분리된 표현으로 학습하는가?
• RQ4 재구성 및 일반화 성능 측면에서, CVAE 및 선형 VAE와 같은 강력한 기준 모델에 비해 GPPVAE는 어떻게 비교되는가?

주요 결과

• 기울어진 MNIST 데이터셋에서 GPPVAE-joint는 테스트 세트 MSE 0.0280 ± 0.0008을 기록하여 GPPVAE-dis(0.0306 ± 0.0009, p < 0.02)와 기타 기준 모델을 뛰어넘었다.
• 얼굴 자세 데이터셋에서 GPPVAE-joint는 MSE 0.0281 ± 0.0008을 기록하여 CVAE와 LIVAE를 능가했으며, GPPVAE-dis(0.0298 ± 0.0008)와 유의미한 차이가 없었다.
• GPPVAE-joint는 개체(정체성) 및 시각(자세) 공분산을 성공적으로 분리하여 얼굴 데이터셋에서 각 요소에 대해 별개의 커널 함수를 학습했다.
• 표준 VAE와 다른 변동 매개변수를 학습함으로써, GP 사전 확률가 VAE가 일반화 성능 향상을 위해 잠재 공간을 적응시키는 데 기여함을 시사한다.
• 미관측된 회전 및 자세에 대한 외삽 예측 결과에서, GPPVAE-joint는 기준 모델보다 더 현실적이고 정확한 이미지를 생성했다.
• 제안된 스토하스틱 백프로파게이션 전략은 메모리 효율적이고 분산 학습이 가능하게 하여, 대규모 이미지 데이터셋에 적용 가능한 모델이 되었다.