[论文解读] Manifold Aware Denoising Score Matching (MAD)

Alona Levy-Jurgenson, Alvaro Prat+2 more|arXiv (Cornell University)|Mar 2, 2026

Face and Expression Recognition被引用 0

一句话总结

MAD通过将分数分解为编码流形结构的已知基分量和可学习残差，在环境空间中高效学习流形上的分布。它在离散、球形和旋转数据上显示更快的收敛和更高的保真度。

ABSTRACT

A major focus in designing methods for learning distributions defined on manifolds is to alleviate the need to implicitly learn the manifold so that learning can concentrate on the data distribution within the manifold. However, accomplishing this often leads to compute-intensive solutions. In this work, we propose a simple modification to denoising score-matching in the ambient space to implicitly account for the manifold, thereby reducing the burden of learning the manifold while maintaining computational efficiency. Specifically, we propose a simple decomposition of the score function into a known component $s^{base}$ and a remainder component $s-s^{base}$ (the learning target), with the former implicitly including information on where the data manifold resides. We derive known components $s^{base}$ in analytical form for several important cases, including distributions over rotation matrices and discrete distributions, and use them to demonstrate the utility of this approach in those cases.

研究动机与目标

• 在不完全学习流形几何的前提下，激发学习在流形上支持的分布。
• 引入分数的基分量（已知）与可学习残差的分解。
• 对离散集合、球面和旋转（SO(3)）推导解析的基分数。
• 证明在若干流形领域中相较于标准DSM的收敛性和保真度有提升。
• 通过仍在环境空间中工作来保持高效，并考虑流形结构。

提出的方法

• 将分数 s(x_t,t) 表示为 s_base(x_t,t) + delta_theta(x_t,t)。
• 仅通过类似 DSM 的损失学习残差 delta_theta：L(theta) = E[ || sigma_t delta_theta(x_t,t) - ((x_0 - x_t)/sigma_t - sigma_t s_base(x_t,t)) ||^2 ].
• 为重要流形（离散集合、球面、SO(3)）提供解析推导的基分数。
• 使用商空间规范化通过在 SO(3)/G 上工作并强制对称等价性来处理旋转对称性。
• 论证离散情况中当 sigma_t -> 0 时 delta 趋于零（定理 2.1）。
• 在最后将样本投影到流形上以确保生成的样本在流形上。

实验结果

研究问题

• RQ1 可以修改环境空间的 DSM 以在保持效率的同时考虑流形的支撑吗？
• RQ2 将分数分解为基流形分量和可学习残差是否能加速学习并提高分布保真度？
• RQ3 如何推导常见流形（离散集合、球面、旋转）上的基分数并将其纳入学习中？
• RQ4 商空间规范化是否解决旋转数据中的多模态和伪旋转问题？
• RQ5 与在流形上或环境空间基线相比，MAD 在离散、球形和 SO(3) 数据上的鲁棒性如何？

主要发现

• MAD 在保持简洁性的同时实现比标准 DSM 更快的收敛和更低的损失。
• 在若干地球数据和 SO(3) 任务中，MAD 的最大平均差异程度（MMD）达到或优于 DSM。
• 在离散实验中，MAD 更可靠地还原真实目标分布，而 DSM 可能生成超出分布的样本。
• 离散分布、球面和 SO(3) 的基分数已解析推导，使得学习残差更高效。
• 商空间规范化有助于处理由对称性引起的多模态性，提升姿态和旋转的条件性表现。
• 与 DSM 相比，MAD 在流形对齐方面保持更好的一致性，漂移到非流形区域的程度更低。