[논문 리뷰] A Geometric Perspective on Variational Autoencoders

Clément Chadebec, Stéphanie Allassonnière|arXiv (Cornell University)|2022. 09. 15.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

이 논문은 학습된 사후 분포 공분산을 사용하여 잠재공간을 리만 다양체로 모델링함으로써 변분 오토에인드어(Variaitonal Autoencoders, VAEs)에 기하학적 재해석을 제안한다. 표준 가우시안 사전분포 대신 내재된 리만 거리 척도에서 균일하게 샘플링함으로써 생성 품질을 향상시킨다. 아키텍처 변경 없이 MNIST와 CelebA에서 최신 기준 FID 점수를 달성하며, 저자료 환경에서도 뛰어난 강건성을 보인다.

ABSTRACT

This paper introduces a new interpretation of the Variational Autoencoder framework by taking a fully geometric point of view. We argue that vanilla VAE models unveil naturally a Riemannian structure in their latent space and that taking into consideration those geometrical aspects can lead to better interpolations and an improved generation procedure. This new proposed sampling method consists in sampling from the uniform distribution deriving intrinsically from the learned Riemannian latent space and we show that using this scheme can make a vanilla VAE competitive and even better than more advanced versions on several benchmark datasets. Since generative models are known to be sensitive to the number of training samples we also stress the method's robustness in the low data regime.

연구 동기 및 목표

• 기본 VAE에서의 흐릿한 생성 문제를 기하학적 관점에서 재해석함으로써 해결한다.
• 표준 가우시안 사전분포의 한계와 사전분포와 집합된 사후분포 사이의 분포 불일치 문제를 극복한다.
• 잠재공간의 내재된 리만 기하학적 구조를 활용하여 보간 및 생성 정밀도를 향상시킨다.
• 간단한 기하학적 샘플링 기법이 저자료 환경에서 더 복잡한 VAE 변종들보다 뛰어난 성능을 낼 수 있음을 입증한다.
• 다양한 VAE 아키텍처, 특히 VAMP-VAE와 VAEGAN과 같은 최신 모델들에 적용 가능한 플러그인 방식을 제공한다.

제안 방법

• 사후 분포 공분산의 역행렬을 리만 계량 텐서로 사용하여 잠재공간을 리만 다양체로 모델링한다: $\mathbf{G}(x) = \mathbf{\Sigma}(x)^{-1}$.
• 학습 데이터 포인트에서의 국소 계량 간의 선형 보간을 통해 리만 계량을 구성하며, 기하적 거리에 기반한 가중 평균을 사용한다.
• 학습된 리만 다양체 위의 균일 분포에서 샘플링함으로써 잠재공간의 매끄럽고 충실한 탐색을 보장한다.
• 지역적 영향과 전역적 영향의 균형을 맞추기 위해 정규화 파rameter $\rho$를 사용하여 과도한 평탄화 또는 단절을 방지한다.
• 모델 아키텍처나 학습 과정을 수정하지 않고도 표준 VAE와 고급 VAE 모두에 리만 샘플링 기법을 적용한다.
• 사후 공분산의 역행렬을 통한 유클리드 계량의 인버스 푸시-다운 변환으로서 리만 계량을 정의함으로써 정보기하학과 연결한다.

실험 결과

연구 질문

• RQ1 기본 VAE의 잠재공간이 사후 공분산의 구조를 기반으로 자연스럽게 리만 다양체로 해석될 수 있는가?
• RQ2 학습된 리만 다양체 위의 내재된 균일 분포에서 샘플링하는 것이 표준 가우시안 샘플링보다 생성 품질을 향상시키는가?
• RQ3 이 기하학적 샘플링 기법이 저자료 환경에서 더 복잡한 VAE 아키텍처들보다 뛰어난 성능을 낼 수 있는가?
• RQ4 이를 두 단계 VAE와 비교했을 때 성능는 어떻게 되는가? 여기서 두 단계 VAE는 집합된 사후분포를 재추정한다.
• RQ5 이 기하학적 샘플링 기법은 현대 VAE 변종들에 얼마나 일반화되고 통합될 수 있는가?

주요 결과

• 제안된 리만 샘플링 기법은 MNIST에서 FID 9.9, CelebA에서 FID 49.6을 달성하여 베이스라인 VAE와 논문 [15]의 두 단계 VAE를 모두 능가한다.
• 동일한 벤치마크에서, VAMP-VAE에 적용했을 때 CelebA의 FID는 67.2(사전 기반)에서 60.9로 감소하고, MNIST의 FID는 34.5에서 32.7로 감소한다.
• AAE와 VAEGAN에 대해서는 FID가 각각 19.1에서 11.7, 8.7에서 6.1로 감소하여 아키텍처 간 일관된 성능 향상을 입증한다.
• 저자료 환경에서 뛰어난 강건성을 보이며, 훈련 데이터 크기가 감소할수록 성능 향상이 더욱 두드러진다.
• VAMP-VAE, VAEGAN, IWAE와 같은 최신 기술 모델에 적용해도 생성 품질 향상이 이루어지며, 이는 광범위한 적용 가능성을 시사한다.
• 리만 계량이 사후 공분산에 의해 유도되는 푸시-다운 계량과 동일함을 입증함으로써, 이론적 기반을 미분기하학에 뿌리내렸다.