[論文レビュー] Manifold Aware Denoising Score Matching (MAD)

Alona Levy-Jurgenson, Alvaro Prat+2 more|arXiv (Cornell University)|Mar 2, 2026

Face and Expression Recognition被引用数 0

ひとこと要約

MADは環境空間でノイズ除去スコアマッチングを修正し、スコアを多様体の基底成分と学習可能な残差に分解することで、多様体上の分布学習を効率化する。離散、球面、回転データにおいて収束を速め、忠実度を向上させる。

ABSTRACT

A major focus in designing methods for learning distributions defined on manifolds is to alleviate the need to implicitly learn the manifold so that learning can concentrate on the data distribution within the manifold. However, accomplishing this often leads to compute-intensive solutions. In this work, we propose a simple modification to denoising score-matching in the ambient space to implicitly account for the manifold, thereby reducing the burden of learning the manifold while maintaining computational efficiency. Specifically, we propose a simple decomposition of the score function into a known component $s^{base}$ and a remainder component $s-s^{base}$ (the learning target), with the former implicitly including information on where the data manifold resides. We derive known components $s^{base}$ in analytical form for several important cases, including distributions over rotation matrices and discrete distributions, and use them to demonstrate the utility of this approach in those cases.

研究の動機と目的

• 多様体上でサポートされる分布を学習させる動機付け（多様体幾何を完全に学習せずに）
• スコアを基底（既知）成分と学習可能な残差に分解する導入
• 離散集合、球面、回転（SO(3)）の解析的基底スコアを導出
• 標準DSMと比較して複数の多様体領域で収束と忠実度を改善
• 多様体構造を考慮しつつ環境空間にとどまることで効率性を保つ

提案手法

• スコア s(x_t,t) を s_base(x_t,t) + delta_theta(x_t,t) と表現
• 残差 delta_theta のみを学習させ、基底寄与を差し引く DSM様の損失を用いる: L(theta) = E[ || sigma_t delta_theta(x_t,t) - ((x_0 - x_t)/sigma_t - sigma_t s_base(x_t,t)) ||^2 ]
• 重要な多様体（離散集合、球面、SO(3））の解析的に導出された基底スコアを提供
• 回転対称性を扱うために商空間正準化を使用し、SO(3)/G 上で作業し、パリティ等価性を課す
• 離散ケースでは sigma_t -> 0 のとき delta がゼロに近づくことを主張（定理 2.1）
• サンプルを最終的に多様体上へ射影して、生成サンプルを多様体上に保つ

実験結果

リサーチクエスチョン

• RQ1 環境空間のDSMを多様体のサポートを考慮するよう修正して効率を保てるか？
• RQ2 スコアを基底多様体成分と学習可能な残差に分解することで学習を加速し分布忠実度を改善できるか？
• RQ3 一般的な多様体（離散集合、球面、回転）について基底スコアを導出し学習へ組み込めるか？
• RQ4 商空間正準化は回転データの多峰性とゴースト回転問題を解決できるか？
• RQ5 MADは離散・球面・SO(3)データに対して、オン多様体・環境空間のベースラインと比較して頑健か？

主な発見

• MADは標準DSMより収束が速く、損失が小さくなる一方で単純さを維持
• MADはEarthデータとSO(3)タスクのいくつかでDSMと同等以上の最大平均差異（MMD）を達成
• 離散実験では MAD が真のターゲット分布をより信頼性高く回復し、DSM は分布外サンプルを生成する可能性がある
• 離散分布、球面、SO(3)の基底スコアを解析的に導出し、残差の学習を効率化
• 商空間正準化は対称性による多峰性を扱いやすくし、姿勢・回転の条件づけを改善
• MADはDSMと比較して非多様体領域へのドリフトが一貫して小さく、多様体整合性をより良く維持