[논문 리뷰] Variational Autoencoders with Riemannian Brownian Motion Priors

Dimitris Kalatzis, David Eklund외 2명|arXiv (Cornell University)|2020. 02. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 9

한 줄 요약

이 논문은 잠재 다각형에서 표준 가우시안 사전확률을 리만 기하학적 브라운 운동 사전확률로 대체하는 리만 변분 오토에코더(R-VAEs)를 제안한다. 이는 기하학적으로 타당한, 재매개변수화 불변 표현을 가능하게 한다. 이 방법은 당김-측도를 사용해 내재적 거리를 정의하고, 다각형 불일치를 방지하는 효율적인 샘플링 기법을 사용하며, 추가로 하나의 스칼라 파rameter만 더해도 모델 용량을 크게 향상시킨다.

ABSTRACT

Variational Autoencoders (VAEs) represent the given data in a low-dimensional latent space, which is generally assumed to be Euclidean. This assumption naturally leads to the common choice of a standard Gaussian prior over continuous latent variables. Recent work has, however, shown that this prior has a detrimental effect on model capacity, leading to subpar performance. We propose that the Euclidean assumption lies at the heart of this failure mode. To counter this, we assume a Riemannian structure over the latent space, which constitutes a more principled geometric view of the latent codes, and replace the standard Gaussian prior with a Riemannian Brownian motion prior. We propose an efficient inference scheme that does not rely on the unknown normalizing factor of this prior. Finally, we demonstrate that this prior significantly increases model capacity using only one additional scalar parameter.

연구 동기 및 목표

• 표준 가우시안 사전확률이 유클리드 잠재 공간을 가정하여 다각형 불일치와 낮은 품질의 샘플을 유도하는 제한점을 해결하기 위해.
• 잠재 다각형의 내재적 구조를 존중하는 원칙적이고 기하학적으로 불변인 사전확률을 개발하기 위해.
• 복잡한 데이터 기하학을 최소한의 추가 파rameter로 캡처할 수 있는 리만 기하학적 가우시안 사전확률의 일반화인 리만 기하학적 브라운 운동을 도입하기 위해.
• 리만 기하학적 사전확률의 계산이 어려운 정규화 상수를 필요로 하지 않는 효율적인 추론 기법을 설계하기 위해.
• 기하학적으로 정보를 얻은 사전확률이, 특히 저차원 잠재 공간에서 품질적·정량적 평가를 통해 VAE 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 잠재 공간을 디코더의 야코비안에서 유도된 당김-측도를 사용해 리만 다각형으로 모델링하여 재매개변수화에 대해 불변성을 확보한다.
• 표준 가우시안 사전확률을 리만 기하학적 브라운 운동 사전확률로 대체한다. 이는 잠재 다각형 상에서의 확산 과정이며, 단일 조정 가능한 스칼라 분산 파rameter를 가진다.
• 추론 기법은 리만 기하학을 존중하는 수치적 통합기를 사용해 SDE를 풀어, 알려지지 않은 정규화 상수를 요구하지 않고 리만 기하학적 사전확률에서 샘플링한다.
• SDE는 리만 기하학을 존중하는 수치적 통합기를 통해 해결되며, 이는 다각형의 이미지에 대한 안정적이고 의미 있는 샘플링을 가능하게 한다.
• 표준 VAE 목표함수를 사용해 엔드 투 엔드로 학습되며, 리만 기하학적 사전확률은 ELBO의 KL 발산 항에 통합된다.
• 당김-측도는 디코더 네트워크를 통해 역전파를 통해 학습 중에 계산되며, 잠재 기하학의 기울기 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 리만 기하학적 브라운 운동 사전확률은 표준 가우시안 사전확률에 비해 VAE의 표현 능력을 향상시키는가?
• RQ2 잠재 공간을 리만 기하학적 구조로 모델링하면 다각형 불일치가 감소하고 샘플 품질이 향상되는가?
• RQ3 단 하나의 추가 스칼라 파rameter만을 가진 기하학적으로 타당한 사전확률이 저차원 설정에서 더 복잡한 학습된 사전확률을 능가하는가?
• RQ4 리만 기하학적 사전확률은 잠재 공간의 재매개변수화에 대해 불변인가? 이는 식별 불가 문제를 해결하는가?
• RQ5 당김-측도는 잠재 공간에서의 불확실성 추정과 샘플링 행동에 어떤 영향을 미치는가?

주요 결과

• R-VAE는 잠재 다각형의 이미지에 샘플링을 제한함으로써 다각형 불일치를 크게 감소시키며, 잠재 공간의 저밀도 영역을 피하는 샘플을 통해 이를 입증한다.
• 리만 기하학적 브라운 운동 사전확률은 특히 저차원 잠재 공간에서 샘플 품질과 재구성 성능을 향상시키며, 표준 VAE의 가우시안 사전확률보다 뛰어난 성능을 보인다.
• 단 하나의 추가 스칼라 파rameter만으로도 더 높은 성능을 달성하여, 복잡성 증가 없이 모델 용량을 증가시킨다.
• 당김-측도는 잠재 공간 내의 거리가 기하학적으로 의미 있고 재매개변수화에 대해 불변함을 보장하여, 식별 불가 문제를 해결한다.
• 샘플링 기법은 리만 기하학을 존중하는 SDE 기반 접근법을 사용해 정규화 상수 문제를 성공적으로 피한다.
• 정성적 결과는 R-VAE의 무작위 보행이 잠재 다각형의 경계 근처에서 느려지고 멈추는 경향이 있음을 보여주며, 이는 데이터 지지 영역에 효과적으로 집중됨을 시사한다.