[논문 리뷰] Latent Variables on Spheres for Autoencoders in High Dimensions

Deli Zhao, Jiapeng Zhu외 1명|arXiv (Cornell University)|2019. 12. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 6

한 줄 요약

이 논문은 고차원 잠재 공간에서 변분 추론을 구면 정규화로 대체하는 간단하면서도 효과적인 방법인 구면 오토에코더(Spherical Auto-Encoder, SAE)를 제안한다. 고차원 기하학을 활용함으로써 SAE는 사전 분포와 잠재 차원에 대해 강건하며, 재구성 및 생성 성능이 뛰어나, MNIST 및 FFHQ 데이터셋에서 정량적 지표와 정성적 샘플 모두에서 VAE를 능가한다.

ABSTRACT

Variational Auto-Encoder (VAE) has been widely applied as a fundamental generative model in machine learning. For complex samples like imagery objects or scenes, however, VAE suffers from the dimensional dilemma between reconstruction precision that needs high-dimensional latent codes and probabilistic inference that favors a low-dimensional latent space. By virtue of high-dimensional geometry, we propose a very simple algorithm, called Spherical Auto-Encoder (SAE), completely different from existing VAEs to address the issue. SAE is in essence the vanilla autoencoder with spherical normalization on the latent space. We analyze the unique characteristics of random variables on spheres in high dimensions and argue that random variables on spheres are agnostic to various prior distributions and data modes when the dimension is sufficiently high. Therefore, SAE can harness a high-dimensional latent space to improve the inference precision of latent codes while maintain the property of stochastic sampling from priors. The experiments on sampling and inference validate our theoretical analysis and the superiority of SAE.

연구 동기 및 목표

• 고차원 잠재 공간에서 변분 추론이 재구성 성능을 향상시키지만, 이로 인해 변분 추론이 약화되는 차원의 역설을 해결하기 위해.
• 고차원 구면에서 잠재 표현이 사전 분포에 종속되지 않는 기하학적 기반을 제공할 수 있는지 탐색하기 위해.
• 확률적 샘플링을 유지하면서 추론 정밀도를 향상시키는 단순한 변분 추론의 대체 방법을 개발하기 위해.
• 구면 잠재 공간이 분포에 무관하며 고차원에서 거리 수렴 현상을 보이는지 검증하기 위해.
• 잠재 차원과 다양한 사전 분포에서 SAE가 재구성, 생성 및 강건성 측면에서 VAE를 능가하는지 보여주기 위해.

제안 방법

• 기본 오토에코더에 구면 정규화를 적용한 SAE를 제안: 잠재 코드는 단위 구면 $\mathbb{S}^{d_z-1}$ 상에 제약되며, 중심화 조건 $\mathbf{z}^\top \mathbf{1} = 0$ 를 만족시킨다.
• 고차원 구면 기하학을 활용하여, 차원 $d_z$ 가 클 경우 구면 상의 랜덤 변수가 사전 분포에 무관하다고 주장한다.
• 이론적 분석을 통해 고차원 구면 상의 두 랜덤 변수 집합 간의 워샤르 거리가 상수로 수렴함을 보이며, 이는 분포에 강건함을 의미한다.
• 고차원에서 체적 집중 현상을 이용해, 구면 정규화가 정보를 유지하고 추론 정밀도를 향상시킨다고 정당화한다.
• 변분 추론을 구면 추론으로 대체함—확률적 사전 분포를 가정하지 않으며, 오직 구면 상의 정규화만을 사용한다.
• MNIST 및 FFHQ 데이터셋에 이 방법을 적용하여, FID, SWD, MSE와 같은 표준 지표를 사용해 SAE와 VAE를 비교한다.

실험 결과

연구 질문

• RQ1 고차원 잠재 공간에서의 구면 정규화가 VAE의 차원의 역설을 완화시킬 수 있는가?
• RQ2 고차원 구면 상의 랜덤 변수가 분포에 무관한 성질을 보이며, 다양한 사전 분포에 대해 강건한가?
• RQ3 고차원 구면 상의 랜덤 샘플 간의 워샤르 거리가 상수로 수렴하는가? 이는 내재된 기하학적 안정성을 시사하는가?
• RQ4 간단한 구면 정규화가 VAE의 변분 추론에 비해 재구성 및 생성 성능을 향상시킬 수 있는가?
• RQ5 SAE는 다양한 잠재 차원과 다양한 확률적 사전 분포에서 샘플링 및 추론 과업에서 어떻게 성능을 발휘하는가?

주요 결과

• SAE는 FFHQ 얼굴 데이터셋에서 91.02의 Fréchet Inception Distance(FID)를 기록하여, VAE의 134.22보다 유의미하게 낮아, 더 뛰어난 이미지 품질을 나타낸다.
• SAE는 구조적 유사도 지수(SSIM) 손실과 MSE를 감소시키며, FFHQ에서 재구성 MSE가 0.063으로 VAE의 0.091보다 낮다.
• SAE는 정규분포, 균일분포, 포isson분포, 카이제곱분포 등 네 가지 다른 사전 분포에서도 일관된 얼굴 생성 품질을 유지하지만, VAE는 사전 분포에 따라 출력 품질이 크게 변한다.
• SAE의 재구성 오차는 잠재 차원이 증가함에 따라 단조롭게 감소하는 반면, VAE의 오차는 512 차원 이상에서 증가함을 보이며, SAE가 차원의 귀환 문제를 피함을 시사한다.
• 정성적 결과에서는 SAE가 VAE보다 선명한 세부 정보(예: 안경, 얼굴 구조)를 더 잘 유지하며, 재구성 결과의 흐림 현상이 적다.
• 이론적 분석을 통해 고차원 구면 상의 두 랜덤 점 집합 간의 워샤르 거리가 상수로 수렴함을 확인하여, SAE의 분포에 강건한 성질을 뒷받침한다.