[논문 리뷰] Neural Ordinary Differential Equations on Manifolds

Luca Falorsi, Patrick Forré|arXiv (Cornell University)|2020. 06. 11.

Model Reduction and Neural Networks참고 문헌 15인용 수 15

한 줄 요약

이 논문은 미분기하학과 벡터장의 활용을 통해 신경미분방정식(Neural ODEs)을 매끄러운 다양체로 확장하여 비유럽형 공간에서의 역행성 정규화 흐름을 가능하게 한다. 주요 기여는 유한한 감도 방법을 코탄젠트 릿지에 적용하여 다양체 위에서 정규화 흐름을 훈련하는 일반적인 프레임워크를 제공하며, 복잡한 다모달 밀도를 가진 초구면에서 검증되었다.

ABSTRACT

Normalizing flows are a powerful technique for obtaining reparameterizable samples from complex multimodal distributions. Unfortunately current approaches fall short when the underlying space has a non trivial topology, and are only available for the most basic geometries. Recently normalizing flows in Euclidean space based on Neural ODEs show great promise, yet suffer the same limitations. Using ideas from differential geometry and geometric control theory, we describe how neural ODEs can be extended to smooth manifolds. We show how vector fields provide a general framework for parameterizing a flexible class of invertible mapping on these spaces and we illustrate how gradient based learning can be performed. As a result we define a general methodology for building normalizing flows on manifolds.

연구 동기 및 목표

• 기존의 정규화 흐름과 신경미분방정식이 유클리드 공간에 국한되어 있어 비틀림이 있는 위상구조를 가진 다양체에서는 실패하는 점을 해결하기 위해.
• 벡터장을 활용하여 매끄러운 다양체 위에서 역행성 및 재매개변수화 가능한 흐름을 구축하는 일반적인 방법론을 개발하기 위해.
• 기하 제어 이론에서 코탄젠트 릿지로 일반화된 유한한 감도 방법을 통해 다양체 위에서 기울기 기반 학습을 가능하게 하기 위해.
• 연속적인 정규화 흐름을 통해 초구면과 같은 비유클리드 공간에서 복잡한 다모달 밀도를 모델링할 수 있는지 검증하기 위해.

제안 방법

• 매끄러운 시간에 의존하는 벡터장 X: ℝ × M → TM를 사용하여 다양체 M 위의 미분형사(diffeomorphisms)를 매개변수화한다.
• 벡터장의 적분곡선으로서의 흐름을 정의함으로써 존재성 및 유일성 정리에 의해 역행성과 매끄러움을 보장한다.
• 원래의 벡터장의 코탄젠트 릿지(coordinate lift)를 사용하여 코탄젠트 번들 T*M 위의 올린 ODE를 풀어 다양체 위의 ODE에 대한 유한한 감도 방법을 적용한다.
• 변수변환 공식을 사용하여 밀도 변환을 계산하며, 로그우도의 자코비안 행렬식은 궤적을 따라 벡터장의 발산을 적분하여 구한다.
• 특히 등장성 임bedding을 위한 수직 투영을 사용하여, 좌표 함수 z_i: M → ℝ의 리만 기울기를 활용해 임베딩된 다양체 위의 벡터장을 생성한다.
• n차원 초구면 S^n에서의 검증을 위해, ℝ^{n+1}의 표준 기저 벡터들의 투영을 통해 벡터장을 구성한다.

실험 결과

연구 질문

• RQ1 비틀림이 있는 위상구조를 가진 다양체로 신경미분방정식을 일반화하여 연속적인 정규화 흐름을 가능하게 할 수 있는가?
• RQ2 유한한 감도 방법을 다양체 위의 벡터장으로 확장하여 엔드 투 엔드 백프로파게이션을 가능하게 할 수 있는가?
• RQ3 유한한 감도 계산을 다양체 위의 흐름을 통해 가능하게 하는 코탄젠트 릿지의 역할은 무엇인가?
• RQ4 신경망을 사용하여 다양체 위의 벡터장을 매개변수화하여 영리한 흐름 모델링을 가능하게 할 수 있는가?
• RQ5 제안된 프레임워크는 초구면과 같은 비유클리드 공간에서 복잡한 다모달 밀도를 모델링할 수 있는가?

주요 결과

• 벡터장을 연속적인 흐름으로 사용함으로써 프레임워크는 신경미분방정식을 매끄러운 다양체로 성공적으로 일반화하여, 역행성 및 미분 가능한 변환을 가능하게 한다.
• 코탄젠트 번들 T*M 위에서 ODE를 풀어 다양체 위의 유한한 감도 방법을 확장하였으며, 원래의 벡터장의 코탄젠트 릿지가 역행 동역학으로 기능한다.
• 등장성 임베딩인 초구면 S^n과 같은 다양체의 경우, ℝ^{n+1}의 표준 기저 벡터들의 수직 투영을 통해 벡터장을 생성할 수 있으며, 이는 실용적인 매개변수화 방법을 제공한다.
• S^n 위에서의 벡터장의 발산은 위치 벡터의 음수에 비례하며, Δz = -nz로 표현되어 로그우도 자코비안 행렬식을 정확히 계산할 수 있다.
• 증명의 개념으로서 부록 A에서 초구면에서의 복잡한 다모달 밀도 모델링이 가능함을 보여주었다.
• 이 프레임워크는 이전의 방법들이 단순한 위상구조에 국한되어 있던 제약을 극복하며, 다양체 위의 정규화 흐름에 대해 일반적이고 기하학적으로 타당한 접근법을 제공한다.