[논문 리뷰] Hyperspherical Variational Auto-Encoders

Tim R. Davidson, Luca Falorsi외 3명|arXiv (Cornell University)|2018. 04. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 104

한 줄 요약

이 논문은 Gaussian 사전/사후를 von Mises-Fisher 분포로 대체하여 구면 초공간(hyperspherical latent spaces)을 생성하고, 구면 구조를 가진 데이터의 모델링을 개선하며 MNIST 재구성/반지도 학습 및 그래프의 링크 예측과 같은 작업을 향상시킨다.

ABSTRACT

The Variational Auto-Encoder (VAE) is one of the most used unsupervised machine learning models. But although the default choice of a Gaussian distribution for both the prior and posterior represents a mathematically convenient distribution often leading to competitive results, we show that this parameterization fails to model data with a latent hyperspherical structure. To address this issue we propose using a von Mises-Fisher (vMF) distribution instead, leading to a hyperspherical latent space. Through a series of experiments we show how such a hyperspherical VAE, or $\mathcal{S}$-VAE, is more suitable for capturing data with a hyperspherical latent structure, while outperforming a normal, $\mathcal{N}$-VAE, in low dimensions on other data types. Code at http://github.com/nicola-decao/s-vae-tf and https://github.com/nicola-decao/s-vae-pytorch

연구 동기 및 목표

• 초구면 잠재구조를 가진 데이터에 대한 Gaussian 사전의 한계를 동기부여하고 이를 해결한다.
• von Mises-Fisher 분포를 사용하는 초구면 VAE(S-VAE)를 도입한다.
• 훈련 가능하도록 vMF에 대한 미분가능한 재매개화(재매개화) 및 샘플링 스킴을 개발한다.
• MNIST와 그래프 기반 링크 예측 과제에서 S-VAE를 N-VAE와 비교한다.
• 저차원 잠재공간에서 향상된 클러스터링, 반지도 학습 성능 및 그래프 임베딩을 입증한다.

제안 방법

• von Mises-Fisher (vMF) 분포를 구면에서의 잠재 사전/사후로 채택한다.
• 구면의 vMF와 균일 분포 사이의 KL 발산을 도출하고, κ(농도)에 의존하고 μ(평균)에는 의존하지 않는다는 점을 주목한다.
• vMF에 대한 수용-거부 샘플링 절차와 스케일된 베셀 함수(scaled Bessel functions)를 이용한 κ에 대한 명시적 그래디언트를 제공한다.
• Algorithm 1과 후속 보조정리에 의해 이중 변환(two-step transformation)을 통해 수용-거부 샘플링 분포에 재매개화 기법을 확장한다.
• 초구면 잠재구조를 회복하기 위해 S-VAE를 적용하고, 비지도 및 반지도 MNIST 실험을 수행하며, 인용 네트워크의 VGAE 기반 링크 예측에서 평가한다.

실험 결과

연구 질문

• RQ1 본질적으로 구면 구조를 가진 데이터의 모델링이 Gaussian 잠재공간과 비교하여 더 나아질 수 있는가?
• RQ2 효율적인 훈련을 위해 재매개화 트릭을 von Mises-Fisher 포스트리에어로 확장하는 방법은?
• RQ3 Gaussian을 vMF로 대체하는 것이 저차원 잠재공간에서 재구성, 클러스터링 및 하위 작업을 개선하는가?
• RQ4 잠재 토폴로지가 반지도 학습 및 그래프 기반 링크 예측에 미치는 영향은?
• RQ5 MNIST 및 인용 네트워크 링크 예측과 같은 ML 과제에서 S-VAE가 N-VAE에 비해 어떤 성능을 보이는가?

주요 결과

• 합성 데이터 및 MNIST 설정에서 S-VAE가 N-VAE보다 구면 잠재구조를 더 잘 회복하며, 특히 저차원에서 그렇다.
• MNIST 재구성에서 S-VAE가 N-VAE보다 음의 재구성 오차가 더 낮고 ELBO가 더 높다(저차원에서 LL).
• 반지도 MNIST에서 S-VAE 및 S+N 변형이 여러 잠재 차원에서 N 카운터파트보다 더 높은 정확도를 달성한다.
• Cora, Citeseer, PubMed의 링크 예측에서 S-VGAE가 N-VGAE보다 AUC와 AP를 향상시킨다.
• 구면 위의 균일한 사전은 원점으로의 끌림(origin attraction)을 피하고 더 균일한 잠재공간 사용을 지원하여 클러스터링과 생성에 도움을 준다.