[논문 리뷰] Riemannian Continuous Normalizing Flows

Émile Mathieu, Maximilian Nickel|arXiv (Cornell University)|2020. 06. 18.

Mathematical Dynamics and Fractals참고 문헌 54인용 수 30

한 줄 요약

이 논문은 매니폴드에서 흐름을 ODE-진화 벡터장으로 정의하는 Riemannian 연속 정규화 흐름(RCNFs)을 제시하여 기본 기하를 존중하는 표현력 있는 확률 모델을 가능하게 한다. 표준 및 투영 흐름에 비해 구(sphere) 및 쌍곡면(hyperbolic manifolds)에서의 장점과 지구과학 밀도 추정에서의 성능 향상을 시연한다.

ABSTRACT

Normalizing flows have shown great promise for modelling flexible probability distributions in a computationally tractable way. However, whilst data is often naturally described on Riemannian manifolds such as spheres, torii, and hyperbolic spaces, most normalizing flows implicitly assume a flat geometry, making them either misspecified or ill-suited in these situations. To overcome this problem, we introduce Riemannian continuous normalizing flows, a model which admits the parametrization of flexible probability measures on smooth manifolds by defining flows as the solution to ordinary differential equations. We show that this approach can lead to substantial improvements on both synthetic and real-world data when compared to standard flows or previously introduced projected flows.

연구 동기 및 목표

• manifold-valued 데이터의 리만 기하를 존중하는 확률적 모델링의 필요성 동기화.
• 매끄러운 매니폴드 위에서 벡터장을 통해 연속 정규화 흐름을 정의하는 원칙적 프레임워크 제안.
• 기하학 인식 방법으로 흐름 평가, 가능도 계산, 기저 분포 선택의 방법 개발.
• 상수 곡률 매니폴드(구 및 포인카레 원판)에서의 순진한, 래핑된 및 투영된 방법과 실제 지구과학 데이터 세트에서 RCNF를 비교 실험.
• 베이스라인 대비 밀도 추정 및 학습 효율성 향상 시연.

제안 방법

• 매끄러운 완전한 매니폴드 M에서 dz(t)/dt = fθ(z(t), t)로 시간에 따른 흐름을 정의한다.
• 벡터 흐름이 완만한 조건에서 M 위의 C1-동형사(flow φ(·, t))를 생성함을 보인다.
• 리만 기하 G(z)와 해석자의 Hutchinson 추적 추정기를 사용한 발산에 의한 Liouville 형식의 밀도 변화로 가능도를 계산한다.
• 샘플을 매니폴드 위에 유지하면서 흐름을 적분하기 위해 기하학적으로 인식된 Runge-Kutta + 투영 기반 해석기를 사용한다.
• 지오메트릭 거리 특성을 입력으로 받고 접선 벡터를 출력하는 신경망으로 벡터장을 매개화하되 출력은 TM으로 투영한다.
• 메모리 효율적인 자동 미분으로 해석기를 통해 역전파하여 최대 우도 또는 역 KL 목적함수로 학습한다.

실험 결과

연구 질문

• RQ1 연속 정규화 흐름을 Euclidean 공간이 아닌 리만 매니폴드에서 직접 작동하도록 형식화할 수 있는가?
• RQ2 RCNF가 매니폴드 흐름의 순진한, 래핑된, 혹은 투영된 접근법에 비해 표현력과 수치적 안정성을 개선하는가? 특히 상수 곡률 매니폴드에서?
• RQ3 기하학 인식 가능도 계산 및 발산 추정이 학습 안정성 및 성능에 어떤 영향을 주는가?
• RQ4 자연 데이터인 구면 데이터(예: 지구과학 데이터 세트)에 대한 밀도 추정 작업에서 RCNF의 성능은 베이스라인에 비해 어떤가?

주요 결과

• RCNFs는 합성적 쌍곡 및 구면 과제에서 목표 분포가 매니폴드 경계에 근접하는 어려운 영역에 접근할 때도 일관되게 순진한 및 래핑된 투영 모델보다 우수하다.
• 구면 데이터에서 RCNFs는 스테레오그래픽 투영 방법보다 대수 가능도(log-likelihood) 및 역 KL 성능이 더 우수하며, 특히 목표 질량이 특이점에 근접할수록 그렇다.
• RCNFs는 지구과학 데이터셋(화산 활동, 지진, 홍수, 산불)에서 밀도 추정 시 투영 방법보다 수렴 속도가 빠르고 반복 횟수가 적다.
• 측지 거리 입력 층과 벡터장 출력의 적절한 스케일링은 학습의 안정성과 함수 평가 감소에 중요하다.
• 실세계 데이터에 대한 밀도 학습은 RCNF가 투영 기반 접근보다 더 타이트한 적합도와 일반화 향상을 제공함을 보여준다.