[논문 리뷰] Neural Manifold Ordinary Differential Equations

Aaron Lou, Derek Lim외 5명|arXiv (Cornell University)|2020. 06. 18.

Generative Adversarial Networks and Image Synthesis인용 수 3

한 줄 요약

이 논문은 국소 기하학을 활용하여 임의의 리만 다양체 위에서 연속 정규화 흐름을 구성하는 데 일반적인 프레임워크인 신경 다양체 미분방정식(Neural Manifold Ordinary Differential Equations, NM-ODEs)을 소개한다. 유사한 기하학적 특성을 가진 데이터에 대해 유연하고 기하학적 인식 능력을 갖춘 확률 밀도 추정을 가능하게 하며, 다양체 위에서의 연속적인 변수 변환을 통해 밀도 추정 및 후속 작업에서 성능 향상을 이룬다.

ABSTRACT

To better conform to data geometry, recent deep generative modelling techniques adapt Euclidean constructions to non-Euclidean spaces. In this paper, we study normalizing flows on manifolds. Previous work has developed flow models for specific cases; however, these advancements hand craft layers on a manifold-by-manifold basis, restricting generality and inducing cumbersome design constraints. We overcome these issues by introducing Neural Manifold Ordinary Differential Equations, a manifold generalization of Neural ODEs, which enables the construction of Manifold Continuous Normalizing Flows (MCNFs). MCNFs require only local geometry (therefore generalizing to arbitrary manifolds) and compute probabilities with continuous change of variables (allowing for a simple and expressive flow construction). We find that leveraging continuous manifold dynamics produces a marked improvement for both density estimation and downstream tasks.

연구 동기 및 목표

• 비유클리드 데이터 기하학을 위한 일반화 가능한 정규화 흐름 프레임워크의 부족을 해결하기 위해.
• 다양체에 특화된 수작업으로 설계된 흐름 레이어의 제한을 극복하여 일반성과 설계 복잡성을 줄이기 위해.
• 임의의 리만 다양체에 일반화되는 통합된 기하학적 인식 흐름 구축 방법을 개발하기 위해.
• 다양체의 국소 기하학적 정보만을 사용하여 연속적이고 표현력 있는 정규화 흐름을 가능하게 하기 위해.

제안 방법

• 유사한 기하학적 특성을 가진 데이터에 대해 유연하고 기하학적 인식 능력을 갖춘 확률 밀도 추정을 가능하게 하며, 다양체 위에서의 연속적인 변수 변환을 통해 밀도 추정 및 후속 작업에서 성능 향상을 이룬다.
• 신경 미분방정식(Neural ODEs)을 리만 다양체로 일반화하여, 탄젠트 번들의 벡터장으로 정의된 Neural Manifold ODEs를 제안한다.
• 다양체 위의 연속적인 미분방정식 시스템을 통해 흐름 역학을 정의하며, 다양체의 기하학을 고려하는 신경망으로 매개변수화한다.
• 이산화 없이 정확한 가능도를 계산하기 위해 다양체 위에서의 연속적인 변수 변화 공식을 활용한다.
• 다양체에 적합한 신경망을 사용하여 벡터장을 구성함으로써 흐름이 가역적이고 미분 가능하도록 보장한다.
• 지오데식 기하학(메트릭, 접속)을 활용하여 데이터 다양체의 내재된 곡률을 존중하는 역학을 정의한다.
• 표현력은 유지하면서 다양한 다양체로 일반화되는 다각형 연속 정규화 흐름(MCNFs)을 구축한다.

실험 결과

연구 질문

• RQ1 다양체에 특화된 아키텍처 설계 없이도 임의의 리만 다양체로 연속 정규화 흐름을 일반화할 수 있는가?
• RQ2 국소 다양체 기하학을 활용할 경우, 유클리드 또는 수작업으로 설계된 다양체 흐름과 비교해 밀도 추정 성능가 향상되는가?
• RQ3 기하학적 인식 연속 역학은 후속 생성 모델링 작업에 얼마나 기여하는가?
• RQ4 한 개의 아키텍처로 재설계 없이 다양한 데이터 다양체에서 우수한 성능을 달성할 수 있는가?
• RQ5 다양체에 매립된 흐름에서 연속적인 변수 변화의 영향은 가능도 및 학습 안정성 측면에서 어떠한가?

주요 결과

• 내재된 기하학적 구조를 활용함으로써 다각형 구조 데이터에서 밀도 추정 성능이 뚜렷이 향상됨을 확인하였다.
• MCNFs는 이전의 다양체 전용 흐름 모델보다 뛰어난 가능도 점수를 기록하여, 더 높은 표현력과 정확도를 입증하였다.
• 재설계 없이도 임의의 다양체로 일반화 가능하여 다양한 기하학적 데이터에 대해 단일 통합 아키텍처를 적용할 수 있었다.
• 신경 다각형 미분방정식을 통한 연속 역학은 이산화 또는 수작업 레이어보다 더 안정적이고 정확한 가능도 계산을 가능하게 하였다.
• 후속 작업에서는 향상된 생성 모델링 능력 덕분에 응용 분야에서 성능 향상이 관찰되었다.