[논문 리뷰] Poincaré Wasserstein Autoencoder

Ivan Ovinnikov|arXiv (Cornell University)|2019. 01. 05.

Anomaly Detection Techniques and Applications참고 문헌 39인용 수 22

한 줄 요약

이 논문은 계층적 데이터 구조를 포착하기 위해 비유클리드 기하학인 포앙카레 구면 모델을 사용하는 변분 오토인코더인 Poincaré Wasserstein Autoencoder(PWA)를 소개한다. 포앙카레 공간의 내재적 곡률을 활용하여 PWA는 계층적 데이터에서 향상된 성능을 달성하며, 합성 및 시각적 데이터셋에서 링크 예측 및 효과적인 잠재 공간 구성에 경쟁적인 결과를 보였다.

ABSTRACT

This work presents a reformulation of the recently proposed Wasserstein autoencoder framework on a non-Euclidean manifold, the Poincaré ball model of the hyperbolic space. By assuming the latent space to be hyperbolic, we can use its intrinsic hierarchy to impose structure on the learned latent space representations. We demonstrate the model in the visual domain to analyze some of its properties and show competitive results on a graph link prediction task.

연구 동기 및 목표

• 표준 VAE가 유클리드 잠재 공간을 사용함으로써 계층적 데이터 구조를 모델링하는 데 한계를 가진다는 문제를 해결하기 위해.
• 특히 포앙카레 구면 모델을 활용한 비유클리드 기하학을 사용하여 잠재 공간에서 구조적이고 계층적인 표현을 학습하는 것을 탐색하기 위해.
• 고정된 음의 곡률을 가진 리만 다양체 위에 워샤르스타인 오토인코더 프레임워크를 개발하여 계층적 의존성을 더 잘 포착하기 위해.
• 내재된 트리 구조나 부분 순서 구조를 가진 작업에서 비유클리드 공간이 유클리드 공간보다 우수한 성능을 낼 수 있음을 입증하기 위해.
• 변분 추론에 사용하기 위한 비유클리드 공간에서의 정규 분포 및 샘플링 절차에 대한 폐쇄형 표현을 유도하기 위해.

제안 방법

• 비유클리드 다양체인 포앙카레 구면 모델 $\mathbb{H}^n$ 에서 워샤르스타인 오토인코더 프레임워크를 재정의하여 비유클리드 다양체에서의 암시적 변분 추론을 가능하게 한다.
• 리만 지수 사상과 페셔 정보 계량을 사용하여 비유클리드 공간에서 정규 분포를 정의함으로써 적절한 사전 및 사후 분포의 매개변수화를 가능하게 한다.
• 최대 평균 차이(MMD)를 사용하여 잠재 공간에서 사전 및 사후 분포를 일치시켜 엔드 투 엔드 학습을 가능하게 한다.
• 기저에서의 평행 이동과 지수 사상을 활용하여 비유클리드 공간에서 사전 및 사후 분포로부터 샘플링을 수행한다.
• 성능과 구조적 충실도 평가를 위해 시각적 생성(MNIST)과 그래프 링크 예측(Cora, Citeseer, Pubmed)에 모두 모델을 적용한다.
• 계층적 합성 데이터에서 유클리드 공간과 비유클리드 공간의 잠재 공간 표현 품질을 정량적으로 비교하기 위해 왜곡 측도를 사용한다.

실험 결과

연구 질문

• RQ1 비유클리드 기하학을 사용하여 잠재 공간을 모델링하면 유클리드 VAE에 비해 계층적 데이터 구조의 표현 성능이 향상되는가?
• RQ2 낮은 차원의 잠재 공간에서 Poincaré 워샤르스타인 오토인코더는 계층적 구조를 얼마나 잘 포착하는가?
• RQ3 그래프 링크 예측 작업에서 비유클리드 기하학을 사용한 오토인코더의 정량적 이점은 무엇인가?
• RQ4 재구성 품질과 후행 작업 성능 측면에서 기존 모델인 유클리드 VAE와 초구면 VAE에 비해 PWA 모델은 어떻게 비교되는가?
• RQ5 비유클리드 공간에서 MMD 기반 목적함수를 적용할 때 발생하는 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 합성 계층적 데이터셋에서 PWA는 평균 왜곡 측도 0.49를 기록했으며, T-SNE(0.73)와 유클리드 VAE(0.82)에 비해 뚜렷한 성능 향상을 보였다.
• MNIST 데이터셋에서 PWA는 잠재 표현이 포앙카레 디스크의 경계 쪽으로 밀려나는 경향을 보였으며, 이는 비유클리드 공간의 지수적 부피 증가 특성과 일치했다.
• Cora 인용 네트워크에서 PWA는 테스트 AUC 93.9 ± 0.2와 AP 93.2 ± 0.4를 기록했으며, 유클리드 VAE(AUC: 92.7 ± 0.2)를 능가했고 초구면 VAE와 유사한 성능를 보였다.
• Citeseer에서 PWA는 AUC 92.2 ± 0.2와 AP 91.8 ± 0.2를 기록했으며, 유클리드 VAE(AUC: 90.3 ± 0.5)를 능가했고 초구면 VAE의 성능에 가까이 접근했다.
• Pubmed에서 PWA는 AUC 95.9 ± 0.2와 AP 96.3 ± 0.2를 기록했으며, 유클리드 VAE(AUC: 97.1 ± 0.0)에 비해 略로 떨어졌지만 여전히 뛰어난 성능를 보였다.
• 모델은 비유클리드 잠재 공간이 낮은 차원의 표현으로도 계층적 정보를 효과적으로 인코딩할 수 있음을 입증했으며, 이는 이전의 비유클리드 단어 임베딩 연구 결과와 일치했다.