[논문 리뷰] Riemannian Score-Based Generative Modelling

Valentin De Bortoli, Émile Mathieu외 4명|arXiv (Cornell University)|2022. 02. 06.

Morphological variations and asymmetry인용 수 26

한 줄 요약

이 논문은 점수 기반 생성 모델을 리만 기하학적 다양체(RSGMs)로 확장하고, 다양체에서의 전방 노이징, 다양체에서의 시간 역전, 샘플링을 위한 측지 랜덤 워크, 그리고 compact 다양체에서의 수렴 보장을 갖는 다양체 인지 점수 추정을 제안한다.

ABSTRACT

Score-based generative models (SGMs) are a powerful class of generative models that exhibit remarkable empirical performance. Score-based generative modelling (SGM) consists of a ``noising'' stage, whereby a diffusion is used to gradually add Gaussian noise to data, and a generative model, which entails a ``denoising'' process defined by approximating the time-reversal of the diffusion. Existing SGMs assume that data is supported on a Euclidean space, i.e. a manifold with flat geometry. In many domains such as robotics, geoscience or protein modelling, data is often naturally described by distributions living on Riemannian manifolds and current SGM techniques are not appropriate. We introduce here Riemannian Score-based Generative Models (RSGMs), a class of generative models extending SGMs to Riemannian manifolds. We demonstrate our approach on a variety of manifolds, and in particular with earth and climate science spherical data.

연구 동기 및 목표

• 로봇공학, 지구과학, 단백질 모델링과 같은 다양한 도메인에서 유클리드 SGMs의 다양체 값 데이터에 대한 한계를 동기화하고 해결한다.
• 리만 기하학적 다양체에서 수렴적으로 쉽고 샘플링 가능한 기준 분포로 수렴하는 원리적 전방 확산을 개발한다.
• 다양체에 대한 시간 역전 공식을 도출하여 다양체 값 생성 과정을 정의한다.
• 다양체의 기하에 맞춘 고유의 샘플링 및 점수 추정 방법을 제시한다.
• compact 다양체에서의 RSGMs에 대한 이론적 수렴 보장을 제공하고, 다양한 다양체 및 데이터셋에 대해 경험적으로 검증한다.

제안 방법

• 측지 거리 기반 포텐셜 혹은 지수적 감싼 가우시안에 기초한 퍼텐셜로 M에서의 전방 노이징 프로세스를 정의한다.
• 다양체에서의 시간 역 diffusion을 확립한다(dYt = {−b(Yt) + ∇log pT−t(Yt)}dt + dBMt).
• GRWs(Geodesic Random Walks)를 통해 다양체 SDE 샘플링을 내재적으로 유지하며 근사한다.
• DSM/ISM 손실과 함께 점수 네트워크 sθ가 M 상의 점수 필드를 근사하도록 구성하여 다양체에서의 점수 추정을 형태화한다.
• 점수 네트워크를 M의 접합 벡터장 기저를 사용해 매개화하고 DSM/ISM 손실로 학습한다.
• 연산 및 샘플링 알고리즘(RSGM)을 제공하되, 전방 GRW 기반 확산과 후방 GRW 기반 역과정을 포함한다.

실험 결과

연구 질문

• RQ1 점수 기반 생성 모델링을 일반적인 리만 다양체 위에 지원되는 데이터로 확장할 수 있는가?
• RQ2 다양체 기하를 보존하고 점수 추정을 용이하게 하는 전방 노이징 및 역방향 디노이징 스킴은 무엇인가?
• RQ3 고유한 샘플링과 점수 추정이 유클리드 SGM 및 다양체 특정 베이스라인에 비해 경쟁력과 확장성을 달성하는가?
• RQ4 compact 다양체에서 RSGMs가 데이터 분포로 수렴하는 조건은 무엇이며 수렴 속도는 어떻게 되는가?
• RQ5 RSGMs가 구면 지구/기후 데이터, SO(3), 토러스, 쿼터니언 공간 등에서 기존의 다양체 기반 방법과 비교해 어떤 성능을 보이는가?

주요 결과

• RSGMs는 M에서 직접 전방 확산을 구축하고 다양체 시간 역 diffusion을 도출함으로써 리만 다양체에 SGMs를 확장한다.
• Geodesic Random Walks은 다양체에서 SDE를 샘플링하는 내재적이고 확장 가능한 방법을 제공하여 외재 임베딩에서의 투영 오류를 피한다.
• 다양체의 점수는 접합 벡터장을 결합해 접합 공간을 차지하는 neural network를 이용한 DSM/ISM 손실로 학습될 수 있다.
• compact 다양체에서 RSGMs의 수렴 경계가 제시되며 적절한 조건하에서 Wasserstein 거리에 대한 보장을 보인다.
• 지구/기후 구면 데이터, SO(3), 토러스, 쌍곡 공간에 대한 실험적 결과는 기저 다양체 방법보다 경쟁력 있거나 우수한 성능을 보이고 고차원 확장성도 더 좋음을 시사한다.