[논문 리뷰] Continuous Hierarchical Representations with Poincaré Variational Auto-Encoders

Émile Mathieu, Charline Le Lan외 3명|arXiv (Cornell University)|2019. 01. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 49

한 줄 요약

이 논문은 포앙카레 구(Ball) 잠재공간을 갖는 VAE를 도입하고, 두 개의 가우시안 일반화(Riemannian normal과 wrapped normal), 기하학 인식 디코더를 도출하며 유클리드 VAE보다 일반화 및 계층적 표현 회복이 개선되었음을 보인다.

ABSTRACT

The variational auto-encoder (VAE) is a popular method for learning a generative model and embeddings of the data. Many real datasets are hierarchically structured. However, traditional VAEs map data in a Euclidean latent space which cannot efficiently embed tree-like structures. Hyperbolic spaces with negative curvature can. We therefore endow VAEs with a Poincaré ball model of hyperbolic geometry as a latent space and rigorously derive the necessary methods to work with two main Gaussian generalisations on that space. We empirically show better generalisation to unseen data than the Euclidean counterpart, and can qualitatively and quantitatively better recover hierarchical structures.

연구 동기 및 목표

• 하이퍼볼릭 공간에 데이터를 임베딩하여 유클리드 공간이 아닌 계층적 표현 학습을 동기를 부여한다.
• Poincaré 볼 잠재 공간을 갖는 변분 자동인코더 프레임워크를 개발한다.
• Poincaré 볼에서 사전분포와 후분포를 위한 두 가지 가우시안 일반화를 도출하고 구현한다.
• 하이퍼볼릭 기하를 명시적으로 존중하는 디코더를 설계하여 재구성 및 잠재 해석가능성을 향상시킨다.
• 합성 데이터, MNIST 및 그래프 데이터에서 더 나은 일반화와 해석 가능한 계층구조를 실증적으로 입증한다.

제안 방법

• VAE의 잠재 공간으로 Poincaré 볼 모델을 채택한다.
• 볼 위의 두 가우시안 일반화를 정의한다: Riemannian normal과 wrapped normal로 각각의 밀도와 재매개변수화 가능한 샘플링 스킴을 갖는다.
• 하이퍼볼릭 사전분포 p(z) = N_B^d(0, σ0^2)와 변분 가족 q(z|x) = N_B^d(μ, σ^2)를 사용한다.
• 출력 매핑에 하이퍼볼릭 기하를 인코딩하는 디코더 아키텍처(gyroplane layer)를 제안한다.
• Poincaré 볼에서 재매개변수화된 몬테카를로 추정치를 사용하여 증거 하한(ELBO)을 최대화함으로써 학습한다.
• 인코더 출력은 지수 매핑을 통해 Fréchet 평균으로 매개화하고 후분포에 양의 왜곡을 적용한다.

실험 결과

연구 질문

• RQ1 하이퍼볼릭(Poincaré) 잠재 공간이 데이터의 계층적 구조를 유클리드 VAE보다 더 잘 포착할 수 있는가?
• RQ2 Poincaré 볼의 두 가지 가우시안 일반화(Riemannian normal 및 wrapped normal)가 VAE의 사전/후분포 모델링에서 어떻게 비교되는가?
• RQ3 기하학 인식 디코더가 일반화와 잠재 계층의 해석 가능성을 향상시키는가?
• RQ4 합성 계층구조 데이터, MNIST 및 그래프 데이터에 Poincaré VAE를 적용할 때 일반화 및 다운스트림 작업 성능에서 어떤 실증적 이점이 나타나는가?

주요 결과

• Poincaré VAE는 합성 분기 데이터 및 MNIST에서 보지 않은 데이터에 대한 일반화에서 유클리드 VAE를 능가하며, 특히 낮은 잠재 차원에서 강력한 성능을 보인다.
• Wrapped 및 Riemannian normal 일반화는 Poincaré 볼에서 재매개변수화 및 밀도 형태를 해석적으로 가능하게 하며, Riemannian normal은 일부 설정에서 약간의 이점을 제공한다.
• 기하학 인식 디코더(gyroplane layer)는 하이퍼볼릭 잠재 공간을 활용하는 데 중요하며, 제거 실험에서 기저선 디코더에 비해 성능 향상을 보인다.
• Poincaré VAE의 MNIST 임베딩은 2D 잠재 공간에서 숫자 분류 정확도를 더 높게 만들어 더 구분 가능한 계층적 구조를 시사한다.
• Poincaré VAE는 그래프 데이터에서 유클리드 VAE에 비해 링크 예측 성능을 개선하여 계층적 네트워크 데이터에 대한 더 나은 일반화를 보여준다.