[논문 리뷰] Normalizing Flows on Riemannian Manifolds

Mevlana Gemici, Danilo Jimenez Rezende외 1명|arXiv (Cornell University)|2016. 11. 07.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 46

한 줄 요약

이 논문은 리만 다양체인 n-구면류 Sⁿ과 같은 공간으로 정규화 흐름을 일반화하기 위해 리만 기하학을 활용하여, 계량에 기반한 야코비안 행렬식을 통해 정확한 밀도 변환을 계산한다. 이 방법은 비유클리드 공간에서 스케일러블하고 미분 가능한 밀도 추정을 가능하게 하며, 역 스테레오그래픽 투영과 탄성 공간에서의 정규화 흐름을 통해 Sⁿ 상에서 복잡한 다중 모달 분포를 학습하는 데에 성공하였다.

ABSTRACT

We consider the problem of density estimation on Riemannian manifolds. Density estimation on manifolds has many applications in fluid-mechanics, optics and plasma physics and it appears often when dealing with angular variables (such as used in protein folding, robot limbs, gene-expression) and in general directional statistics. In spite of the multitude of algorithms available for density estimation in the Euclidean spaces $\mathbf{R}^n$ that scale to large n (e.g. normalizing flows, kernel methods and variational approximations), most of these methods are not immediately suitable for density estimation in more general Riemannian manifolds. We revisit techniques related to homeomorphisms from differential geometry for projecting densities to sub-manifolds and use it to generalize the idea of normalizing flows to more general Riemannian manifolds. The resulting algorithm is scalable, simple to implement and suitable for use with automatic differentiation. We demonstrate concrete examples of this method on the n-sphere $\mathbf{S}^n$.

연구 동기 및 목표

• 구, 토러스, 심플렉스와 같은 리만 다양체에 대한 스케일러블하고 미분 가능한 밀도 추정 방법의 부족을 해결하기 위해.
• 유럽 공간에서 성공한 정규화 흐름을 차원이 다른 비유클리드 다양체로 확장하면서도, 보편적 근사 및 기울기 계산 능력을 유지하기 위해.
• Rⁿ에서 임베드된 다양체로 차원을 유지하지 않는 변환에 표준 야코비안 행렬식 공식을 적용할 경우 발생하는 잘못된 밀도 변환 문제를 해결하기 위해.
• 방향성 데이터나 제약 조건이 있는 데이터(예: 단백질 접힘 또는 로봇 공학에서의 각도 변수)의 변분 추론에서 복잡한 사후 근사 모델링을 가능하게 하기 위해.

제안 방법

• 다양체 M (예: Sⁿ)를 그 탄성 공간 Rⁿ으로 사상하는 위상 동형 사상 ϕ: Rⁿ → M ⊂ Rᵐ를 사용하여, 유클리드 공간에서의 흐름 기반 변환을 가능하게 한다.
• 체적 왜곡 요소 √det G를 계산하기 위해 리만 계량 G = JϕᵀJϕ를 적용하며, 이는 차원을 유지하지 않는 변환에 대한 밀도 변환을 보정한다.
• 정확한 밀도 변환 공식을 유도: p(u) = f(ϕ(u)) ⋅ √det(JϕᵀJϕ(u))로, 다양체에서 유클리드 공간으로의 정확한 밀도 전파를 보장한다.
• 역 스테레오그래픽 변환을 사용하여 Rⁿ에서 Sⁿ로의 특정한, 이遍성 있고, 미분 가능한 사상으로, 계량 행렬식에 대해 닫힌 형태의 표현식을 제공한다.
• Rⁿ 공간에서 표준 정규화 흐름(예: 신경망으로 파arameterized된 흐름 기반 변환)을 사용하여 복잡한 밀도를 학습한 후 다양체로 다시 투영한다.
• 자동 미분을 활용하여 로그 우도의 기울기를 계산함으로써 다양체 상에서의 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정규화 흐름은 스케일러블하고 미분 가능한 성질을 유지하면서도, n-구면류 Sⁿ과 같은 리만 다양체로 일반화될 수 있는가?
• RQ2 Rⁿ에서 Sⁿ과 같은 서로 다른 차원을 가진 공간 간의 변환 시, 밀도 변환에 대한 올바른 수학적 공식은 무엇인가?
• RQ3 표준 야코비안 행렬식과 비교하여 리만 계량 행렬식은 다양체 변환 중 밀도 정확도를 유지하는 데 어떻게 기여하는가?
• RQ4 이 프레임워크를 통해 Sⁿ과 같은 곡면 다양체에서 효과적으로 복잡한 다중 모달 밀도를 학습할 수 있는가?

주요 결과

• 리만 계량 행렬식 √det(JϕᵀJϕ)를 사용함으로써, 다양체 상에서의 정확한 밀도 변환을 수행할 수 있으며, 이는 내재적 곡률과 차원 불일치를 고려한다.
• 비정방형 변환에 대해 표준 야코비안 행렬식 |det Jϕ|를 사용할 경우, 몬테카를로 표본과의 경험적 불일치로 인해 심각한 밀도 오차가 발생한다.
• 역 스테레오그래픽 변환은 Rⁿ에서 Sⁿ로의 유효하고, 이遍성 있으며, 미분 가능한 사상으로, 구상에서의 흐름 기반 모델링을 가능하게 한다.
• Sⁿ 상에서의 계량 행렬식에 대한 유도된 공식은 det G = (2 / (‖x‖² + 1))²ⁿ이며, 이는 정확한 밀도 계산에 필수적이다.
• 경험적 결과로, 리만 보정(빨간 선)은 50만 개 표본에서의 커널 밀도 추정(파란 선)과 매우 유사한 반면, 단순한 유클리드 방법(초록 선)은 실패함을 보여준다.
• 이 프레임워크를 통해 탄성 공간 Rⁿ에서 변환 및 학습을 수행한 후 다양체로 다시 투영함으로써, Sⁿ 상에서 임의로 복잡한 밀도를 학습할 수 있다.