[논문 리뷰] Latent Space Oddity: on the Curvature of Deep Generative Models

Georgios Arvanitidis, Lars Kai Hansen외 1명|arXiv (Cornell University)|2017. 10. 31.

Generative Adversarial Networks and Image Synthesis인용 수 25

한 줄 요약

이 논문은 생성기의 야코비안에 의해 유도되는 스토하스틱 리만 다양체로 잠재 공간을 모델링함으로써 딥 생성 모델을 위한 기하학적 프레임워크를 제안한다. 생성기의 국소 곡률에서 유도된 리만 계량을 사용하여 거리와 보간법을 재정의함으로써, 클러스터링, 샘플링, 보간법을 향상시키고, 기존 VAE가 흔히 곡률의 선형 근사로 인해 부정확한 분산 추정을 제공한다는 점을 드러낸다. 이를 해결하기 위해 더 정확한 불확실성 추정을 가능하게 하는 새로운 분산 네트워크 아키텍처를 도입한다.

ABSTRACT

Deep generative models provide a systematic way to learn nonlinear data distributions, through a set of latent variables and a nonlinear "generator" function that maps latent points into the input space. The nonlinearity of the generator imply that the latent space gives a distorted view of the input space. Under mild conditions, we show that this distortion can be characterized by a stochastic Riemannian metric, and demonstrate that distances and interpolants are significantly improved under this metric. This in turn improves probability distributions, sampling algorithms and clustering in the latent space. Our geometric analysis further reveals that current generators provide poor variance estimates and we propose a new generator architecture with vastly improved variance estimates. Results are demonstrated on convolutional and fully connected variational autoencoders, but the formalism easily generalize to other deep generative models.

연구 동기 및 목표

• 딥 생성 모델에서 잠재 공간 거리의 오해를 해결하기 위해, 유클리드 거리가 진정한 데이터 다양체의 구조를 반영하지 못한다는 점을 다루는 것.
• 생성기의 야코비안 행렬에서 유도된 계량을 통해 잠재 공간을 스토하스틱 리만 다양체로 공식화하는 것.
• 기존 VAE가 곡률의 선형 근사를 사용함으로써 잘못된 분산 추정을 제공한다는 점을 입증하는 것.
• 더 정확한 불확실성 추정을 가능하게 하는 전용 분산 네트워크를 갖춘 새로운 생성기 아키텍처를 제안하는 것.
• 리만 기반의 거리와 보간법이 더 나은 클러스터링, 더 부드러운 생성, 더 안정적인 무작위 보행을 가능하게 한다는 것을 보여주는 것.

제안 방법

• 생성기의 야코비안 행렬에서 유도된 스토하스틱 리만 계량을 잠재 공간에 도입하며, 국소 계량 텐서 $ \mathbf{J}_\mathbf{z}^\intercal \mathbf{J}_\mathbf{z} $ 를 사용한다.
• 리만 계량을 사용하여 직선 보간 대신 길이를 최소화하는 곡선(지오데식선)을 계산한다.
• 리만 거리를 사용하여 잠재 확률 분포와 샘플링 알고리즘을 재구성함으로써 데이터 다양체의 구조와의 일치도를 향상시킨다.
• 국소 왜곡을 $ \boldsymbol{\sigma}_\theta(\mathbf{z}) $ 를 통해 명시적으로 모델링하는 새로운 분산 네트워크를 생성기 내에 도입하여 불확실성 추정을 향상시킨다.
• 리만 계량을 $ k $-means 클러스터링과 혼합 모델링에 적용하여 진정한 클래스 구조와의 일치도가 더 높다는 것을 보여준다.
• 기하학적으로 정보를 반영한 잠재 공간 내의 무작위 보행을 적용하여, 유클리드 보행보다 데이터 다양체에 더 오래 머물다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 생성기의 비선형성에 의해 유도된 잠재 공간의 곡률은 거리와 보간법의 해석에 어떻게 영향을 미치는가?
• RQ2 왜 기존 VAE는 부정확한 분산 추정을 제공하며, 기하학 원리를 통해 이를 어떻게 수정할 수 있는가?
• RQ3 생성기의 야코비안에서 유도된 리만 계량은 잠재 공간의 클러스터링과 샘플링을 향상시킬 수 있는가?
• RQ4 지오데식 보간법은 직선 보간법에 비해 시각적 품질과 다양체 준수 측면에서 어떻게 다른가?
• RQ5 기하학적으로 정보를 반영한 무작위 보행은 표준 유클리드 보행보다 데이터 다양체에 더 오래 머물 수 있는가?

주요 결과

• 잠재 공간은 평평한 유클리드 공간이 아니라 곡률이 있는 리만 다양체이며, 거리와 보간법은 생성기의 야코비안에서 유도된 계량을 통해 가장 잘 측정된다.
• 리만 기반의 $ k $-means 클러스터링은 유클리드 기반 클러스터링보다 진정한 클래스 레이블과 훨씬 더 잘 일치하며, 더 나은 구조 탐색 능력을 보여준다.
• 지오데식 보간법은 직선 보간법보다 더 매끄럽고 현실적인 생성 결과를 만들어내며, MNIST 및 합성 데이터에서의 시각화 결과로 이를 입증한다.
• 제안된 분산 네트워크 아키텍처는 기존 VAE보다 훨씬 더 정확한 불확실성 추정을 제공한다. 이는 리만 계량이 국소 왜곡에 민감하다는 점에서 확인된다.
• 기하학적으로 정보를 반영한 무작위 보행은 표준 유클리드 보행보다 데이터 다양체에 훨씬 더 오래 머물며, 더 나은 다양체 준수 능력을 보여준다.
• 새로운 리만 계량은 더 정확한 확률 분포와 샘플링 알고리즘을 가능하게 하며, 클러스터링 및 생성과 같은 후행 작업에서 성능 향상을 이룬다.