[논문 리뷰] Hierarchical Representations with Poincar\'e Variational Auto-Encoders

Émile Mathieu, Charline Le Lan외 3명|arXiv (Cornell University)|2019. 01. 01.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 계층적 데이터를 보다 효과적으로 모델링하기 위해 초등 기하학을 VAE 프레임워크에 통합한 Poincaré 변분 오토인코더(P-VAEs)를 제안한다. Poincaré 공간에서 표현을 학습함으로써, 타원형 VAE에 비해 더 나은 일반화 성능과 정성적으로 계층적 구조를 복원하는 결과를 얻는다.

ABSTRACT

The Variational Auto-Encoder (VAE) model has become widely popular as a way to learn at once a generative model and embeddings for observations living in a high-dimensional space. In the real world, many such observations may be assumed to be hierarchically structured, such as living organisms data which are related through the evolutionary tree. Also, it has been theoretically and empirically shown that data with hierarchical structure can efficiently be embedded in hyperbolic spaces. We therefore endow the VAE with a hyperbolic geometry and empirically show that it can better generalise to unseen data than its Euclidean counterpart, and can qualitatively recover the hierarchical structure.

연구 동기 및 목표

• 생물학적 분류계나 언어 계층과 같은 계층적 구조를 가진 데이터를 모델링하는 데에 타원형 VAE의 한계를 해결하기 위해.
• 나무 구조를 가진 데이터를 자연스럽게 수용할 수 있는 초등 기하 공간의 내재된 기하적 성질을 활용하기 위해.
• 초등 기하 기하학의 인도적 편향과 변분 오토인코딩의 유연성을 결합한 딥 생성 모델을 개발하기 위해.
• 초등 기하 VAE가 타원형 대비자보다 더 잘 일반화되는지 경험적으로 검증하기 위해.

제안 방법

• 계층적 구조를 인코딩하기 위해 VAE의 표준 타원형 잠재 공간을 Poincaré 구면 다양체로 대체한다.
• 초등 기하 공간에서 변분 하한을 최적화하기 위해 리만형 확률적 경사 하강법을 사용한다.
• 인ference 및 사전 분포를 Poincaré 정규분포와 von Mises-Fisher 분포로 매개변수화한다.
• Poincaré 다양체에 적응된 재생성 기법을 적용하여 미분 가능한 학습을 가능하게 한다.
• 초등 기하 공간의 곡률을 고려한 변분 하한을 사용하여 모델을 종단 간(end-to-end)으로 학습시킨다.
• Poincaré 구면의 내재 거리 측도를 활용하여 잠재 공간 내 계층적 관계를 유지한다.

실험 결과

연구 질문

• RQ1 Poincaré 잠재 공간을 가진 VAE가 타원형 VAE에 비해 데이터의 계층적 구조를 더 잘 포착할 수 있는가?
• RQ2 초등 기하 공간에서의 학습이 계층적 데이터 분포에서 더 나은 일반화 성능을 이끌어내는가?
• RQ3 P-VAEs는 WordNet이나 생물학적 분류계와 같은 실제 데이터셋에서 알려진 계층적 관계를 어느 정도 재구성할 수 있는가?
• RQ4 Poincaré 공간의 곡률이 학습된 표현의 품질에 어떤 영향을 미치는가?
• RQ5 초등 기하 기하학의 인도적 편향만으로도 아키텍처 수정 없이 성능 향상이 가능한가?

주요 결과

• P-VAEs는 표준 타원형 VAE에 비해 계층적 데이터 분포에서 더 나은 일반화 성능을 보인다.
• 학습된 잠재 공간에서 계층적 구조, 예를 들어 분류계 트리와 같은 데이터의 계층적 구조를 정성적으로 복원한다.
• 단어 계층 예측과 같은 계층적 관계를 포함한 후속 작업에서 P-VAEs가 향상된 성능을 보인다.
• Poincaré 공간 내의 잠재 표현은 타원형 공간에 비해 계층적 거리를 더 정확히 유지한다.
• 초등 기하 기하학의 사용은 나무 구조를 가진 데이터에 대해 더 컴act하고 의미 있는 표현을 이끌어낸다.