[논문 리뷰] Riemannian Diffusion Models

Chin‐Wei Huang, Milad Aghajohari외 3명|arXiv (Cornell University)|2022. 08. 16.

Generative Adversarial Networks and Image Synthesis인용 수 14

한 줄 요약

이 논문은 스트라토노비치 SDE와 외재화 임bedding 접근법을 사용하여 임의의 리만 다양체로 연속시간 확산 모델을 일반화한 리만 확산 모델(Riemannian Diffusion Models, RDM)을 소개한다. 이를 통해 변분 하한이 리만 스코어 매칭과 동치가 되는 것을 유도하고, QR 분해와 투영된 히 Hutchinson 방법을 통해 효율적인 우도 추정을 가능하게 하였으며, 구면, 토러스, 쌍곡면, 직교군에서 최고의 우도 성능을 달성하였다.

ABSTRACT

Diffusion models are recent state-of-the-art methods for image generation and likelihood estimation. In this work, we generalize continuous-time diffusion models to arbitrary Riemannian manifolds and derive a variational framework for likelihood estimation. Computationally, we propose new methods for computing the Riemannian divergence which is needed in the likelihood estimation. Moreover, in generalizing the Euclidean case, we prove that maximizing this variational lower-bound is equivalent to Riemannian score matching. Empirically, we demonstrate the expressive power of Riemannian diffusion models on a wide spectrum of smooth manifolds, such as spheres, tori, hyperboloids, and orthogonal groups. Our proposed method achieves new state-of-the-art likelihoods on all benchmarks.

연구 동기 및 목표

• 유구한 공간에서의 연속시간 확산 모델을 비영인 리만 다양체로 일반화하는 것.
• 리만 다양체에서의 우도 추정을 위한 변분 프레임워크를 개발하는 것. 이를 위해 리만의 파인만-카흐 표현식과 기르산وف의 정리를 활용한다.
• 가장 가까운 점 투영에 의존하지 않고 리만 발산을 효율적으로 계산하는 것.
• 시간 적분에 대한 중요도 샘플링을 활용한 분산 감소 기법을 통해 KELBO 목표함수를 개선하여 우도 추정 정확도를 향상시키는 것.
• 다양한 다양체에서 모델을 경험적으로 검증하여, 구면, 토러스, 쌍곡면, 직교군에서 새로운 최고의 우도 성능을 달성하는 것.

제안 방법

• 더 높은 차원의 유클리드 공간에 임bed된 리만 다양체에서 스트라토노비치 SDE를 사용하여 추론 및 생성 과정을 수식화하며, 표준 미적분 규칙을 유지한다.
• 파인만-카흐 표현식과 기르산오프의 정리를 활용하여 리만 연속시간 ELBO를 유도하고, 이를 유클리드 CT-ELBO로 일반화한다.
• 저차원 다양체에서 리만 발산을 효율적으로 계산하기 위해 QR 분해 기반 방법을 도입한다.
• 고차원 설정에서 리만 발산의 스케일러블하고 편향 없는 추정을 위해 투영된 히 Hutchinson 방법을 제안한다.
• 시간 적분에 대한 중요도 샘플링을 활용한 분산 감소 기법을 개발하여, 정교하게 설계된 노이즈 스케줄에 의존하지 않도록 한다.
• 변분 하한을 진짜 로그 우도에 더욱 가깝게 만들기 위해 K=100개의 샘플을 사용한 KELBO 목표함수를 구현한다.

실험 결과

연구 질문

• RQ1 연속시간 확산 모델은 유클리드 공간을 초월하여 임의의 리만 다양체로 일반화될 수 있는가?
• RQ2 제안된 리만 다양체에서의 변분 하한은 마진널하게 동일한 SDE에 대해 리만 스코어 매칭과 동치인가?
• RQ3 가장 가까운 점 투영에 의존하지 않고도 리만 발산의 효율적이고 스케일러블한 계산이 가능한가?
• RQ4 제안된 분산 감소 기반 KELBO 목표함수는 기존 ELBO에 비해 우도 추정 정확도를 향상시키는가?
• RQ5 RDM은 구면, 토러스, 쌍곡면, 직교군과 같은 다양한 다양체에서 최고의 우도 성능을 달성할 수 있는가?

주요 결과

• RDM는 평가된 모든 다양체에서 새로운 최고의 우도 성능을 달성하였으며, 이는 구면, 토러스, 쌍곡면, 직교군을 포함한다.
• 마진널하게 동일한 SDE에 대해 리만 연속시간 ELBO는 리만 스코어 매칭과 이론적으로 동치이며, 변분 프레임워크의 타당성을 입증한다.
• QR 분해 기반 방법은 저차원 다양체에서 리만 발산을 효율적으로 계산할 수 있게 하여 학습 안정성을 향상시킨다.
• 투영된 히 Hutchinson 방법은 고차원 다양체에서 스케일러블하고 편향 없는 리만 발산 추정을 가능하게 하여 적합하다.
• K=100을 사용한 KELBO 목표함수는 진짜 로그 우도에 점점 더 가까워지는 더 탴한 하한을 제공하며, K가 증가함에 따라 단조롭게 수렴한다.
• 오차 허용치 1e-3과 최소 단계 크기 1e-5를 갖는 적응형 단계 크기 통합은 평가 중 정확한 수치 적분을 보장한다.