[论文解读] Latent Traversals in Generative Models as Potential Flows

Song Yue, Andy Keller+2 more|arXiv (Cornell University)|Apr 25, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出将生成模型中的潜在遍历建模为势流——即在学习得到的、随时间与空间变化的偏微分方程（PDE）势能场上的梯度下降。通过将解耦遍历视为粒子沿这些物理上合理的PDE势能场流动，该方法在轨迹的语义解耦性、灵活性和一致性方面优于线性或RBF基基线方法，且在训练过程中作为归纳偏置整合时，模型似然性也得到提升。

ABSTRACT

Despite the significant recent progress in deep generative models, the underlying structure of their latent spaces is still poorly understood, thereby making the task of performing semantically meaningful latent traversals an open research challenge. Most prior work has aimed to solve this challenge by modeling latent structures linearly, and finding corresponding linear directions which result in `disentangled' generations. In this work, we instead propose to model latent structures with a learned dynamic potential landscape, thereby performing latent traversals as the flow of samples down the landscape's gradient. Inspired by physics, optimal transport, and neuroscience, these potential landscapes are learned as physically realistic partial differential equations, thereby allowing them to flexibly vary over both space and time. To achieve disentanglement, multiple potentials are learned simultaneously, and are constrained by a classifier to be distinct and semantically self-consistent. Experimentally, we demonstrate that our method achieves both more qualitatively and quantitatively disentangled trajectories than state-of-the-art baselines. Further, we demonstrate that our method can be integrated as a regularization term during training, thereby acting as an inductive bias towards the learning of structured representations, ultimately improving model likelihood on similarly structured data.

研究动机与目标

• 为解决预训练生成模型中学习语义上合理、解耦的潜在遍历这一开放挑战。
• 通过使用灵活、随时间与空间变化的势能场建模潜在动力学，克服线性与固定形状RBF基遍历的局限性。
• 在训练过程中将学习到的势流作为正则化项整合，以提升似然性并引入结构化归纳偏置。
• 证明基于物理的PDE能够建模多样、明确且语义一致的遍历路径，适用于不同的数据流形。

提出的方法

• 将潜在遍历建模为由随时间与空间变化的PDE定义的标量势场的梯度流，灵感来源于流体动力学与最优传输理论。
• 同时学习多个不同的、语义自洽的势函数，通过分类器约束以确保解耦性。
• 使用物理信息神经网络（PINNs）表示势场，以近似满足PDE约束，从而实现灵活、动态的势能场。
• 随时间沿势场梯度演化潜在代码，生成平滑的非线性遍历路径。
• 在VAE训练过程中将势流损失作为正则化项整合，以构建结构化的潜在空间并提升似然性。
• 使用速度场 ∇z u(z,t) 建模样本演化，该场在特定条件下可对应于著名的PDE，如热方程或福克-普朗克方程。

实验结果

研究问题

• RQ1 基于物理现实的PDE势能场是否能比线性或RBF基方法建模出更灵活、更解耦的潜在遍历？
• RQ2 随时间与空间变化的势场在多大程度上提升了不同样本间潜在遍历的语义一致性和明确性？
• RQ3 学习到的势流在多大程度上可作为归纳偏置，提升结构化数据生成中的似然性与泛化能力？
• RQ4 从学习到的速度场中可涌现出哪些著名PDE？它们与底层数据流形动力学有何关联？

主要发现

• 所提方法在预训练的GAN和VAE上，相较于最先进线性与RBF基基线，实现了定性与定量上更优的解耦轨迹。
• 该方法在相同遍历路径下，对不同样本均产生明确、一致的语义属性（如“放大”或“发长”），且对应的PDE路径形状相似。
• 当作为正则化项整合于VAE训练中时，势流损失显著提升了相似结构数据的模型似然性，证明其作为归纳偏置的有效性。
• 该框架可建模从线性到周期性波形的多样化遍历路径，且在端点附近变化极小，表明其鲁棒性与对数据流形的忠实性。
• 该方法揭示，在特定速度场条件下，潜在空间动力学可被解释为著名PDE（如热方程或福克-普朗克方程）的解。
• 线性遍历方法被证明是本框架的特例，当势场在空间与时间上线性时即成立。