[论文解读] Moser Flow: Divergence-based Generative Modeling on Manifolds

Noam Rozen, Aditya Grover+2 more|arXiv (Cornell University)|Aug 18, 2021

3D Shape Modeling and Analysis参考文献 33被引用 5

一句话总结

Moser Flow (MF) 是一种新颖的连续归一化流（CNF）框架，用于流形上的生成建模，其通过将模型密度参数化为先验密度减去神经网络的散度来实现。通过利用流形上散度算子的局部性和计算简便性，MF 在训练过程中避免了常微分方程（ODE）求解，从而实现更快的收敛速度，并在球面及一般曲面（包括真实世界气候科学数据集）上实现了密度估计和样本质量的最先进性能。

ABSTRACT

We are interested in learning generative models for complex geometries described via manifolds, such as spheres, tori, and other implicit surfaces. Current extensions of existing (Euclidean) generative models are restricted to specific geometries and typically suffer from high computational costs. We introduce Moser Flow (MF), a new class of generative models within the family of continuous normalizing flows (CNF). MF also produces a CNF via a solution to the change-of-variable formula, however differently from other CNF methods, its model (learned) density is parameterized as the source (prior) density minus the divergence of a neural network (NN). The divergence is a local, linear differential operator, easy to approximate and calculate on manifolds. Therefore, unlike other CNFs, MF does not require invoking or backpropagating through an ODE solver during training. Furthermore, representing the model density explicitly as the divergence of a NN rather than as a solution of an ODE facilitates learning high fidelity densities. Theoretically, we prove that MF constitutes a universal density approximator under suitable assumptions. Empirically, we demonstrate for the first time the use of flow models for sampling from general curved surfaces and achieve significant improvements in density estimation, sample quality, and training complexity over existing CNFs on challenging synthetic geometries and real-world benchmarks from the earth and climate sciences.

研究动机与目标

• 开发一种可扩展且高效的归一化流框架，用于非欧几里得流形（如球面、环面及一般曲面）上的生成建模。
• 克服现有流形上连续归一化流（CNF）在训练过程中 ODE 求解带来的计算瓶颈。
• 实现在复杂几何结构（包括地球与气候科学中的真实世界数据）上的高保真密度估计与样本生成。
• 建立模型在逼近欧几里得子流形上任意正密度时的理论普适性。
• 首次将基于 CNF 的生成建模从球面几何扩展至一般曲面。

提出的方法

• MF 将目标密度参数化为先验密度减去神经网络向量场的散度，利用散度作为流形上的局部线性微分算子。
• 该方法借鉴了 Moser 和 Dacorogna–Moser 定理，确保即使在训练过程中不求解 ODE，该参数化仍能通过 ODE 诱导出有效的 CNF 解。
• 通过直接优化散度项，而非在训练中反向传播通过 ODE 求解器，显著降低了训练成本。
• 对于流形约束的流，该方法将神经网络输出投影到流形的切空间，以确保向量场保持在流形的切空间内。
• 该框架被扩展至欧几里得子流形，使其可应用于嵌入流形（如球面和一般曲面）。
• 理论分析证明，在适当条件下，MF 是紧致、连通、无边界的黎曼流形上正密度的通用逼近器。

实验结果

研究问题

• RQ1 能否设计一种归一化流，在训练过程中避免 ODE 求解，同时在流形上保持表达能力？
• RQ2 能否将神经网络的散度直接用作模型密度的参数化方式，以提升在曲面几何上的训练效率与样本质量？
• RQ3 Moser Flow 是否能在球面及一般曲面等复杂流形上实现密度估计与生成的最先进性能？
• RQ4 Moser Flow 在理论上是否对黎曼流形上任意正密度具有普适逼近能力？
• RQ5 Moser Flow 是否能成功应用于具有非欧几里得几何结构的真实世界科学数据集（如全球气候与地理空间数据）？

主要发现

• 在涉及全球火山喷发、地震、洪水和野火分布的四个真实世界地球与气候科学数据集上，Moser Flow 相较于黎曼 CNF 在密度估计上实现了平均 49% 的性能提升。
• 与现有 CNF 基线相比，MF 在合成曲面上生成高保真样本时表现出显著更快的收敛速度。
• 首次实现对球面以外的一般曲面（如斯坦福小兔）上连续归一化流的训练，且能生成高质量样本。
• 在球面流形上，MF 实现了最先进的样本质量与密度估计性能，优于现有 CNF 和参数化方法。
• 通过在训练中消除 ODE 求解，Moser Flow 降低了训练复杂度，并实现了在复杂几何结构上的高效优化。
• 理论分析确认，在标准假设下，Moser Flow 是紧致、连通、无边界的黎曼流形上正密度的通用逼近器。