[論文レビュー] Riemannian Score-Based Generative Modelling

Valentin De Bortoli, Émile Mathieu+4 more|arXiv (Cornell University)|Feb 6, 2022

Morphological variations and asymmetry被引用数 26

ひとこと要約

この論文はスコアベース生成モデルをリーマン多様体（RSGMs）へ拡張し、前方ノイズ付与を多様体上で、時間反転を多様体上で、サンプリングのための曲率地理的ランダムウォーク、そして多様体対応のスコア推定とコンパクト多様体上での収束保証を提案する。

ABSTRACT

Score-based generative models (SGMs) are a powerful class of generative models that exhibit remarkable empirical performance. Score-based generative modelling (SGM) consists of a ``noising'' stage, whereby a diffusion is used to gradually add Gaussian noise to data, and a generative model, which entails a ``denoising'' process defined by approximating the time-reversal of the diffusion. Existing SGMs assume that data is supported on a Euclidean space, i.e. a manifold with flat geometry. In many domains such as robotics, geoscience or protein modelling, data is often naturally described by distributions living on Riemannian manifolds and current SGM techniques are not appropriate. We introduce here Riemannian Score-based Generative Models (RSGMs), a class of generative models extending SGMs to Riemannian manifolds. We demonstrate our approach on a variety of manifolds, and in particular with earth and climate science spherical data.

研究の動機と目的

• ロボティクス、地球科学、タンパク質モデリングなどの分野でEuclidean SGMsの多様体値データに対する制限を動機づけ、対処する。
• リーマン多様体上で収束する principled forward diffusionを開発し、容易にサンプル可能な参照分布へ収束させる。
• 多様体上での時間反転公式を導出し、多様体値生成過程を定義する。
• 多様体の幾何に合わせた intrinsic sampling と score estimation手法を提案する。
• コンパクト多様体上のRSGMsに対する理論的収束保証を提供し、多様な多様体とデータセットで実証的に検証する。

提案手法

• ジオメトリック距離に基づくポテンシャルを用いたLangevinダイナミクスや、指数的にラップされたガウス分布など、M上での前方ノイズ付与過程を定義する。
• 多様体上の時間反転拡散を確立する（dYt = {−b(Yt) + ∇log pT−t(Yt)}dt + dBMt）。
• GRW（Geodesic Random Walks）を用いて多様体SDEサンプリングを近似し、Mに内在的に留める。
• ノイズ除去スコアマッチング（DSM）と暗黙的スコアマッチング（ISM）損失を用いて、スコア場をM上のニューラルネットワーク sθ が近似する形で、多様体上のスコア推定を定式化する。
• M上の切断バンドルを張る基底ベクトル場の組を用いてスコアネットワークをパラメータ化し、DSM/ISM損失で訓練する。
• 前方GRWベースの拡散と後方GRWベースの逆過程を組み込んだ訓練・サンプリングアルゴリズム（RSGM）を提供する。

実験結果

リサーチクエスチョン

• RQ1 一般的なリーマン多様体上でサポートされるデータに対して、スコアベース生成モデリングをどのように拡張できるか。
• RQ2 多様体の幾何を保ち、扱いやすいスコア推定を可能にする前方ノイズ付与と後方デノイズのスキームは何か。
• RQ3 内在的なサンプリングとスコア推定は、Euclidean SGMや多様体特化ベースラインと比較して競争力があり、スケーラブルか。
• RQ4 RSGMsがコンパクト多様体上でデータ分布へ収束する条件と収束速度はどのようになるか。
• RQ5 地球表面/気候データ、SO(3)、トーラス、ハイパボリック空間でのRSGMsは、既存の多様体ベース手法と比較してどうなるか。

主な発見

• RSGMsはM上で前方拡散を直接構築し、多様体時間反転拡散を導出することで、SGMsをリーマン多様体へ拡張する。
• Geodesic Random Walksは多様体上のSDEを内在的で拡張可能な方法でサンプリングする手段を提供し、外部埋め込みによる射影誤差を回避する。
• 多様体上のスコアはDSM/ISM損失を用いて学習でき、複数のベクトル場を組み合わせて切断バンドルを張るニューラルネットワークがスコア場を近似する。
• コンパクト多様体上で、本論文はRSGMsの収束境界を証明し、適切な条件の下でワッサースタイン距離の保証を示す。
• 地球/気候の球状データ、SO(3)、トーラス、ハイパーボリック空間での実証結果は、ベースラインの多様体手法と比較して競争力があり、より高次元へのスケーラビリティにも優れている。