[논문 리뷰] Latent Variable Modelling with Hyperbolic Normalizing Flows

Avishek Joey Bose, Ariella Smofsky외 3명|arXiv (Cornell University)|2020. 02. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 52인용 수 11

한 줄 요약

이 논문은 계층적 데이터를 위한 초등각 공간에서의 정규화 플로우를 처음으로 소개하며, 스토케스틱 변수 기반 추론에서 민감하고 가역적인 사후 근사 모델링을 가능하게 한다. 탄성 커플링(TC)과 랩드 하이퍼볼로이드 커플링(WHC)을 제안함으로써, 효율적인 샘플링과 정확한 가능도 추정이 가능해졌으며, 나무 구조를 띤 데이터에서 유계 플로우와 하이퍼볼로이드 VAE에 비해 성능이 뛰어나다.

ABSTRACT

The choice of approximate posterior distributions plays a central role in stochastic variational inference (SVI). One effective solution is the use of normalizing flows \cut{defined on Euclidean spaces} to construct flexible posterior distributions. However, one key limitation of existing normalizing flows is that they are restricted to the Euclidean space and are ill-equipped to model data with an underlying hierarchical structure. To address this fundamental limitation, we present the first extension of normalizing flows to hyperbolic spaces. We first elevate normalizing flows to hyperbolic spaces using coupling transforms defined on the tangent bundle, termed Tangent Coupling ($\mathcal{TC}$). We further introduce Wrapped Hyperboloid Coupling ($\mathcal{W}\mathbb{H}C$), a fully invertible and learnable transformation that explicitly utilizes the geometric structure of hyperbolic spaces, allowing for expressive posteriors while being efficient to sample from. We demonstrate the efficacy of our novel normalizing flow over hyperbolic VAEs and Euclidean normalizing flows. Our approach achieves improved performance on density estimation, as well as reconstruction of real-world graph data, which exhibit a hierarchical structure. Finally, we show that our approach can be used to power a generative model over hierarchical data using hyperbolic latent variables.

연구 동기 및 목표

• 계층적 구조를 가진 데이터를 모델링하는 데 있어 유클리드 정규화 플로우의 한계를 해결하기 위해.
• 리만 기하학을 활용하고 가역성 및 계산 가능한 자코비안 행렬식을 유지함으로써, 정규화 플로우를 하이퍼볼로이드 공간으로 확장하기 위해.
• 구조화된 데이터를 위한 하이퍼볼로이드 잠재 변수 모델에서 효율적이고 미분 가능한 사후 근사 모델링을 가능하게 하기 위해.
• 기존 유클리드 및 하이퍼볼로이드 방법에 비해 계층적 데이터에서 가능도 추정, 재구성, 생성 작업에서 향상된 성능을 보여주기 위해.

제안 방법

• 초등각 매니폴드의 탄성 벡터 장에 정의된 탄성 커플링(TC)을 제안하여, 하이퍼볼로이드 공간 내에서 가역 변환을 가능하게 한다.
• 완전히 가역적이고 학습 가능한 변환인 랩드 하이퍼볼로이드 커플링(WHC)을 도입하여, 복잡한 사후 분포를 모델링하기 위해 명시적인 하이퍼볼로이드 기하학을 활용한다.
• 로렌츠 모델을 사용하여 하이퍼볼로이드 공간에서 TC와 WHC의 체인지오브볼륨 행렬식을 유도함으로써, O(n) 시간 내에 효율적인 계산을 보장한다.
• 수치적 안정성과 명시적 기하 공식을 제공하여, 미분 가능한 연산을 매니폴드 상에서 수행할 수 있도록 로렌츠 모델(초등각)을 활용한다.
• 초등각 매니폴드 상의 기저 분포를 설정하고, 순차적인 가역 변환을 적용하여 복잡한 사후 분포를 학습한다.
• 하이퍼볼로이드 잠재 공간을 갖는 변분 autoencoder에 이 프레임워크를 적용하여, 계층적 데이터의 생성 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정규화 플로우는 하이퍼볼로이드 공간으로 성공적으로 확장될 수 있는가? 이는 유클리드 플로우에 비해 계층적 데이터를 더 효과적으로 모델링할 수 있는가?
• RQ2 가역적이고 미분 가능한 변환은 하이퍼볼로이드 매니폴드 상에서 어떻게 구성될 수 있는가? 이때 자코비안 행렬식의 효율적 계산은 유지될 수 있는가?
• RQ3 하이퍼볼로이드 정규화 플로우는 유클리드 및 기존 하이퍼볼로이드 VAE 방법에 비해 계층적 그래프 데이터에서 가능도 추정 및 재구성 성능을 향상시킬 수 있는가?
• RQ4 하이퍼볼로이드 정규화 플로우에 로렌츠 모델을 사용할 경우의 계산적 및 수치적 상충 요소는 무엇인가?

주요 결과

• 제안된 하이퍼볼로이드 정규화 플로우는 유클리드 정규화 플로우와 하이퍼볼로이드 VAE에 비해 계층적 데이터에서 구조화된 가능도 추정 작업에서 뛰어난 성능을 달성한다.
• 재파arameterizable 기저 분포와 가역 플로우 덕분에 정확한 가능도 추정과 저분산 기울기 추정이 가능해진다.
• 실제 계층적 네트워크에서의 그래프 복원 작업은 하이퍼볼로이드 정규화 플로우 기반 VAE를 사용할 경우 정량적·정성적으로 뚜렷한 향상이 이루어졌다.
• TC와 WHC의 체인지오브볼륨 계산은 효율적이며, 각 변환당 O(n) 연산만으로도 가능하여 확장 가능한 훈련이 가능하다.
• 유연한 사후 분포를 갖는 하이퍼볼로이드 잠재 변수 모델은 나무 구조를 띤 데이터에서 특히 뛰어난 샘플 품질을 생성할 수 있음을 입증하였다.
• 로렌츠 모델의 클램핑으로 인한 수치적 제약로 인해 플로우 아키텍처의 깊이가 제한되며, 향후 연구에서는 다른 하이퍼볼로이드 모델이 필요할 것으로 제안된다.