[论文解读] Flat Metric Minimization with Applications in Generative Modeling

Thomas Möllenhoff, Daniel Cremers|arXiv (Cornell University)|May 12, 2019

3D Shape Modeling and Analysis参考文献 49被引用 1

一句话总结

该论文提出FlatGAN，一种生成建模框架，将数据视为k-电流（k-currents）——广义的有向流形——而非概率分布，利用平坦度量（flat metric）最小化生成数据电流与真实数据电流之间的距离。该方法通过显式建模数据流形的切向量，实现了解耦、可解释且协变的潜在表征，在时间序列和3D场景建模中实现了最先进水平的解耦性能，且无需对潜在因子进行显式监督。

ABSTRACT

We take the novel perspective to view data not as a probability distribution but rather as a current. Primarily studied in the field of geometric measure theory, $k$-currents are continuous linear functionals acting on compactly supported smooth differential forms and can be understood as a generalized notion of oriented $k$-dimensional manifold. By moving from distributions (which are $0$-currents) to $k$-currents, we can explicitly orient the data by attaching a $k$-dimensional tangent plane to each sample point. Based on the flat metric which is a fundamental distance between currents, we derive FlatGAN, a formulation in the spirit of generative adversarial networks but generalized to $k$-currents. In our theoretical contribution we prove that the flat metric between a parametrized current and a reference current is Lipschitz continuous in the parameters. In experiments, we show that the proposed shift to $k>0$ leads to interpretable and disentangled latent representations which behave equivariantly to the specified oriented tangent planes.

研究动机与目标

• 解决标准生成模型将数据视为分布而忽略方向性、切平面等几何结构的局限性。
• 实现对指定数据流形扰动（如旋转、光照、视角或时间变化）协变的表征学习。
• 通过几何测度论，特别是k-电流与平坦度量，形式化生成建模，作为传统GAN与VAE的合理替代方案。
• 证明引入切向量信息可实现无监督设置下解耦且可解释的潜在表征。

提出的方法

• 将数据表示为k-电流T，其中每个数据点关联一个有向k维切平面。
• 通过前推映射g: Z → X定义生成模型，将潜在空间中的电流S ∈ N₁,Z(Rˡ)提升至数据空间，形成g♯S ∈ N₁,X(Rᵈ)。
• 使用正则化损失Fλ(g♯S, T)最小化生成电流g♯S与真实数据电流T之间的平坦距离，其中λ控制权衡。
• 采用缩放的平坦范数（Morgan & Vixlie, 2007）作为距离度量，该度量支持弱∗-收敛性并支持参数的Lipschitz连续性。
• 通过雅可比-向量乘积（Rop）的反向传播实现损失计算，采用两次额外的反向传播，支持端到端训练。
• 当k=0时，该公式在适当条件下退化为Wasserstein GAN，表明与现有GAN框架的一致性。

实验结果

研究问题

• RQ1 将数据建模为k-电流而非概率分布，是否能带来更结构化且可解释的潜在表征？
• RQ2 对指定切向量（如时间差分或几何变换）施加协变性约束，是否能提升潜在空间中的解耦性能？
• RQ3 平坦度量是否适合作为深度生成建模中比较k-电流的距离度量，特别是在优化与泛化方面？
• RQ4 该框架能否在无时间监督的情况下，从视频数据中发现有意义的时间动态（如时间之箭）？
• RQ5 与标准GAN相比，引入几何结构（切平面）如何影响生成样本的质量与解耦性？

主要发现

• 参数化电流与参考电流之间的平坦度量在参数上具有Lipschitz连续性，确保了优化的稳定性与泛化保证。
• 在2D圆数据集上，k=1的FlatGAN生成了可解释的、沿圆周协调移动的角向潜在编码，而k=0的WGAN-GP则缺乏此类结构。
• 在MNIST数据集上，通过数字旋转与缩放指定切向量，得到的潜在编码实现了解耦，对应于可解释因子如笔画宽度与方向。
• 在smallNORB数据集上，改变潜在编码z1、z2、z3分别对应光照、仰角与方位角变化，证明了对3D视角变化的协变性。
• 在tinyvideos数据集上，尽管训练数据为打乱帧，模型仍学习到了时间的连贯表示，捕捉到如海浪与人物行走等现象。
• 该方法在无需显式互信息最大化的情况下实现了潜在表征的解耦，表明几何结构本身即可引导有意义的解耦。