[논문 리뷰] A Differentiable Gaussian-like Distribution on Hyperbolic Space for Gradient-Based Learning.

Yoshihiro Nagano, Shoichiro Yamaguchi외 2명|arXiv (Cornell University)|2019. 02. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 9

한 줄 요약

이 논문은 계층적 데이터를 위한 기울기 기반 학습을 가능하게 하는, 미분 가능하고 해석적으로 다룰 수 있는, 쌍곡 공간 위의 확률 분포인 가짜 쌍곡 정규분포를 소개한다. 이 분포는 정확한 밀도 평가, 효율적인 샘플링을 가능하게 하며, 새로운 모델인 쌍곡 변분 오토인코더와 확률적 단어 임베딩을 가능하게 하며, MNIST, 아케이드 게임 브레이크아웃, WordNet에서 최신 기술 수준의 성능을 보여준다.

ABSTRACT

Hyperbolic space is a geometry that is known to be well-suited for representation learning of data with an underlying hierarchical structure. In this paper, we present a novel hyperbolic distribution called extit{pseudo-hyperbolic Gaussian}, a Gaussian-like distribution on hyperbolic space whose density can be evaluated analytically and differentiated with respect to the parameters. Our distribution enables the gradient-based learning of the probabilistic models on hyperbolic space that could never have been considered before. Also, we can sample from this hyperbolic probability distribution without resorting to auxiliary means like rejection sampling. As applications of our distribution, we develop a hyperbolic-analog of variational autoencoder and a method of probabilistic word embedding on hyperbolic space. We demonstrate the efficacy of our distribution on various datasets including MNIST, Atari 2600 Breakout, and WordNet.

연구 동기 및 목표

• 기울기 기반 학습을 지원하기 위해 쌍곡 공간 위에 기울기 가능하고 해석적으로 계산 가능한 확률 분포를 개발하는 것.
• 기각 샘플링 없이 정확한 밀도 평가와 효율적인 샘플링을 가능하게 하는 것.
• 계층적 데이터 구조를 위한 확률적 딥 러닝을 쌍곡 기하학으로 확장하는 것.
• 변분 오토인코더와 같은 깊이 있는 생성 모델의 쌍곡 해석을 구성하는 것.
• 개선된 의미 모델링을 위해 쌍곡 공간에서의 확률적 단어 임베딩을 가능하게 하는 것.

제안 방법

• 쌍곡 공간의 쌍곡면 모델을 사용하여 가짜 쌍곡 정규분포를 쌍곡 정규분포의 해석적 해석으로 제안한다.
• 위치 및 척도 매개변수에 대해 미분 가능한 확률 밀도 함수의 해석적 표현을 유도한다.
• 쌍곡 기하학에서의 적절한 정규화를 보장하기 위해 분포의 로그 정규화 인자를 활용한다.
• 기각 샘플링 없이 분포에서 샘플링하기 위한 재파rameterization 기법을 설계한다.
• 암시적 추론을 사용하여 가짜 쌍곡 정규분포를 기반으로 한 쌍곡 변분 오토인코더를 구성한다.
• 가짜 쌍곡 정규분포를 사전으로 사용하여 쌍곡 공간에서의 확률적 단어 임베딩 방법을 개발한다.

실험 결과

연구 질문

• RQ1 기울기 가능하고 해석적으로 다룰 수 있는 확률 분포를 쌍곡 공간에 정의할 수 있는가? 이는 기울기 기반 학습을 지원하기 위해 필요한가?
• RQ2 이러한 분포는 기각 샘플링 없이 정확한 밀도 평가와 효율적인 샘플링을 가능하게 하는가?
• RQ3 가짜 쌍곡 정규분포를 사용하여 계층적 데이터를 위한 효과적인 쌍곡 생성 모델을 구성할 수 있는가?
• RQ4 제안된 분포는 계층적 데이터셋에서의 확률적 단어 임베딩 및 표현 학습 성능을 향상시키는가?
• RQ5 이 분포는 쌍곡 공간에서의 변분 오토인코더와 같은 깊이 있는 생성 모델에 통합될 수 있는가?

주요 결과

• 가짜 쌍곡 정규분포는 쌍곡 공간에서 정확한 밀도 평가와 기울기 가능한 매개변수화를 가능하게 하여, 이전의 기울기 기반 학습에서의 제약을 극복한다.
• 이 분포는 기각 샘플링 없이 효율적인 샘플링을 지원하여, 쌍곡 생성 모델에서의 확률적 최적화에 적합하다.
• 가짜 쌍곡 정규분포를 기반으로 한 쌍곡 변분 오토인코더는 유클리드 기반 모델 대비 MNIST 및 아케이드 게임 브레이크아웃에서 경쟁력 있거나 더 뛰어난 성능을 달성한다.
• 이 분포를 사용한 확률적 단어 임베딩 방법은 WordNet에서 성능을 향상시키며, 더 효과적으로 계층적 의미 관계를 포착한다.
• 제안된 분포는 쌍곡 공간에서 처음으로 엔드 투 엔드 기울기 가능한 확률 모델링 프레임워크를 가능하게 하여, 표현 학습 분야에서 새로운 응용 가능성을 열어준다.