[논문 리뷰] A Wrapped Normal Distribution on Hyperbolic Space for Gradient-Based Learning

Yoshihiro Nagano, Shoichiro Yamaguchi외 2명|arXiv (Cornell University)|2019. 02. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 47

한 줄 요약

본 논문은 analytic density 평가 및 gradient 계산을 허용하는 hyperbolic 공간의 pseudo-hyperbolic Gaussian를 도입하여 Hyperbolic VAE 및 확률적 단어 임베딩과 같은 gradient-based 확률 모델을 가능하게 한다. MNIST, Atari Breakout 궤적, WordNet 단어 임베딩에서 성능이 개선됨을 보여준다.

ABSTRACT

Hyperbolic space is a geometry that is known to be well-suited for representation learning of data with an underlying hierarchical structure. In this paper, we present a novel hyperbolic distribution called extit{pseudo-hyperbolic Gaussian}, a Gaussian-like distribution on hyperbolic space whose density can be evaluated analytically and differentiated with respect to the parameters. Our distribution enables the gradient-based learning of the probabilistic models on hyperbolic space that could never have been considered before. Also, we can sample from this hyperbolic probability distribution without resorting to auxiliary means like rejection sampling. As applications of our distribution, we develop a hyperbolic-analog of variational autoencoder and a method of probabilistic word embedding on hyperbolic space. We demonstrate the efficacy of our distribution on various datasets including MNIST, Atari 2600 Breakout, and WordNet.

연구 동기 및 목표

• 계층적 데이터 표현과 확률 모델링을 위한 하이퍼볼릭 기하학의 사용을 동기부여한다.
• 해석적 밀도와 미분 가능성을 가진 하이퍼볼릭 공간상의 가우시안에 유사한 분포를 정의한다.
• 하이퍼볼릭 공간에서의 확률 모델(예: VAE, 단어 임베딩)의 gradient-based 학습을 가능하게 한다.
• 거절 샘플링 없이도 효율적인 샘플링을 제공한다.
• 벤치마크 데이터셋(MNIST, Atari Breakout, WordNet)에서 접근법을 시연한다.

제안 방법

• 원점의 접 공간에서 EuclideanGaussian에서 샘플링한 후 목표 위치로 평행 운송(parallel transporting)하고 Lorentz 모형의 지수 맵으로 투영하여 pseudo-hyperbolic Gaussian를 구성한다.
• 투영 맵의 log-determinant를 이용해 로그 밀도를 계산하며, 이는 지수 맵의 행렬식과 평행 운송의 행렬식으로 분해되어 닫힌 형태로 평가 가능하다.
• Lorentz 모델에서 접 공간 연산(평행 운송, 지수 맵 및 그 역)의 해석식들을 제공하여 밀도 평가와 기울기 계산을 용이하게 한다.
• 제시된 prior p(z) = G(mu0, I)와 posterior q(z|x) = G(mu, Sigma)로 Hyperbolic VAE를 구축한다.
• 하이퍼볼릭 공간에서 G(mu, Sigma)를 사용하여 유클리드 가우시안 임베딩을 대체함으로써 확률적 단어 임베딩에 적용한다.

실험 결과

연구 질문

• RQ1 gradient-based 학습을 위한 해석 가능한 밀도와 미분 가능성을 가진 하이퍼볼릭 공간 위에서 가우시안 유사 분포를 일관되게 정의할 수 있는가?
• RQ2 거절 샘플링 없이 하이퍼볼릭 공간에서 샘플링 및 밀도 평가를 어떻게 효율적으로 수행할 수 있는가?
• RQ3 표준 벤치마크(MNIST, WordNet, Atari 궤적)에서 계층적 데이터에 대한 하이퍼볼릭 확률 모델의 이점은 무엇인가?
• RQ4 저차원 잠재 공간에서 하이퍼볼릭 확률 모델(Hyperbolic VAE, 확률적 단어 임베딩)이 유클리드 대응 모델보다 우위에 있는가?

주요 결과

• A calss of pseudo-hyperbolic Gaussian distributions on hyperbolic space is shown to admit analytic density evaluation and differentiability with respect to parameters.
• The sampling procedure uses a tangent-space Gaussian, parallel transport, and the exponential map, enabling gradient-based learning without rejection sampling.
• Hyperbolic VAE with the proposed prior and posterior can achieve competitive or better log-likelihoods than Vanilla VAE, especially at lower latent dimensions on MNIST.
• Probabilistic word embeddings using hyperbolic geometry improve reconstruction metrics over Euclidean Gaussian embeddings at several latent dimensions on WordNet noun hierarchy.
• Applications to Atari 2600 Breakout show that Hyperbolic VAE latent representations correlate more strongly with cumulative rewards than vanilla VAEs.