[論文レビュー] Riemannian Diffusion Models

Chin‐Wei Huang, Milad Aghajohari+3 more|arXiv (Cornell University)|Aug 16, 2022

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本稿では、ストラトノヴィッチSDEと外部埋め込みアプローチを用いて、任意のリーマン多様体へ連続時間拡散モデルを一般化したRiemannian Diffusion Models (RDM) を提案する。リーマンスコアマッチングに等価な変分下界を導出し、QR分解と射影ハッチソン法を用いた効率的な尤度推定を可能にし、球面、トーラス、双曲的空間、直交群において最先端の尤度を達成した。

ABSTRACT

Diffusion models are recent state-of-the-art methods for image generation and likelihood estimation. In this work, we generalize continuous-time diffusion models to arbitrary Riemannian manifolds and derive a variational framework for likelihood estimation. Computationally, we propose new methods for computing the Riemannian divergence which is needed in the likelihood estimation. Moreover, in generalizing the Euclidean case, we prove that maximizing this variational lower-bound is equivalent to Riemannian score matching. Empirically, we demonstrate the expressive power of Riemannian diffusion models on a wide spectrum of smooth manifolds, such as spheres, tori, hyperboloids, and orthogonal groups. Our proposed method achieves new state-of-the-art likelihoods on all benchmarks.

研究の動機と目的

• ユークリッド空間から非ゼロの曲率を持つ任意のリーマン多様体へ連続時間拡散モデルを一般化すること。
• リーマンフェインマン＝カック表現とギルサノフの定理を用いて、リーマン多様体上での尤度推定のための変分フレームワークを構築すること。
• 最近接点への射影に依存せずに、変分目的関数におけるリーマン発散度の効率的計算を可能にすること。
• 時間積分における重要度サンプリングを用いた分散低減KELBO目的関数により、尤度推定の精度を向上させること。
• 多様な多様体上でモデルを実証的に検証し、球面、トーラス、双曲的空間、直交群において新たな最先端の尤度を達成すること。

提案手法

• 高次元ユークリッド空間に埋め込まれたリーマン多様体上でストラトノヴィッチSDEを用いて推論および生成プロセスを定式化し、標準的な微積分規則を保持する。
• フェインマン＝カック表現とギルサノフの定理を用いて、ユークリッドCT-ELBOを一般化したリーマン連続時間ELBOを導出する。
• 低次元多様体上でのリーマン発散度の効率的計算のため、QR分解に基づく手法を導入する。
• 高次元設定におけるリーマン発散度のスケーラブルで不偏な推定のため、射影ハッチソン法を提案する。
• 時間積分における重要度サンプリングを用いた分散低減技術を提案し、慎重に設計されたノイズスケジュールに依存しないようにする。
• K=100のサンプルを用いたKELBO目的関数を実装し、真の対数尤度に近づく変分下界をタイトにする。

実験結果

リサーチクエスチョン

• RQ1 連続時間拡散モデルは、ユークリッド空間を超えて任意のリーマン多様体へ一般化可能か？
• RQ2 提案されたリーマン多様体上での変分下界は、マージナルに等価なSDEに対してリーマンスコアマッチングと等価か？
• RQ3 最近接点への射影に依存せずに、リーマン発散度の効率的かつスケーラブルな計算が可能か？
• RQ4 提案された分散低減KELBO目的関数は、標準的なELBOと比較して尤度推定の精度を向上させるか？
• RQ5 RDMは、球面、トーラス、双曲的空間、直交群といった多様な多様体において、最先端の尤度を達成できるか？

主な発見

• RDMは、球面、トーラス、双曲的空間、直交群を含むすべての評価対象多様体で、新たな最先端の尤度を達成した。
• マージナルに等価なSDEに対して、リーマン連続時間ELBOは理論的にリーマンスコアマッチングと等価であり、変分フレームワークの妥当性が裏付けられた。
• QR分解に基づく手法により、低次元多様体上でのリーマン発散度の効率的計算が可能になり、トレーニングの安定性が向上した。
• 射影ハッチソン法は、高次元多様体向けにスケーラブルで不偏なリーマン発散度推定器を提供した。
• K=100のKELBO目的関数は、よりタイトな下界を提供し、Kの増加に伴い真の対数尤度に単調に近づく。
• 誤差許容値1e-3および最小ステップサイズ1e-5を設定した適応的ステップサイズ統合により、評価時の数値統合が高精度に保証された。