[论文解读] Variational Autoencoders for Learning Nonlinear Dynamics of Physical Systems

Ryan Lopez, Paul J. Atzberger|arXiv (Cornell University)|Dec 7, 2020

Model Reduction and Neural Networks参考文献 61被引用 14

一句话总结

该论文提出了一种带有几何和拓扑先验的变分自编码器（VAE）框架，用于学习非线性物理系统（如Burgers方程和受约束的机械系统）的低维可解释表征。通过将潜在空间嵌入环面或克莱因瓶等流形，该方法在重建精度、泛化能力和抗噪性方面优于欧几里得潜在空间，尤其在训练数据含噪声时表现更优。

ABSTRACT

We develop data-driven methods for incorporating physical information for priors to learn parsimonious representations of nonlinear systems arising from parameterized PDEs and mechanics. Our approach is based on Variational Autoencoders (VAEs) for learning from observations nonlinear state space models. We develop ways to incorporate geometric and topological priors through general manifold latent space representations. We investigate the performance of our methods for learning low dimensional representations for the nonlinear Burgers equation and constrained mechanical systems.

研究动机与目标

• 开发数据驱动的方法，将物理先验（如光滑性、周期性和拓扑结构）融入非线性动力系统的潜在空间表征中。
• 解决从物理系统的高维观测中学习稳定、可泛化且可解释的低维模型的挑战。
• 通过将潜在空间嵌入反映系统内在对称性和约束的流形（如环面、克莱因瓶）来提升长期预测能力和鲁棒性。
• 证明在VAE中引入几何和拓扑先验可提升重建精度和抗噪能力，优于标准的欧几里得潜在空间。

提出的方法

• 该方法采用变分自编码器（VAE）框架，结合概率编码器和解码器，从物理系统的时序观测中学习非线性状态空间模型。
• 通过可微映射 $\Lambda(\mathbf{w})$ 将潜在空间约束于流形（如 $S^1 \times S^1$（环面）或克莱因瓶），该映射将编码向量投影到目标流形的最近点。
• 训练目标使用证据下界（ELBO），包含三个组成部分：重建损失 ($\mathcal{L}_{RE}$)、KL散度正则化 ($\mathcal{L}_{KL}$) 和流形正则化项 ($\mathcal{L}_{RR}$)，以强制实现几何结构。
• 编码器和解码器网络为深层神经网络，激活函数采用Leaky-ReLU，网络结构为（输入）-100-500-100-（输出），通过ELBO的最大似然估计进行训练。
• 对于流形约束，模型通过数值投影到流形（如环面或克莱因瓶）计算梯度，以支持反向传播。
• 该框架应用于参数化PDE（如Burgers方程）和受约束的机械系统（如具有固定长度杆段的二维机械臂），其中潜在空间的几何结构反映了物理约束。

实验结果

研究问题

• RQ1 与标准的欧几里得潜在空间相比，具有流形结构潜在空间的VAE是否能学习到更鲁棒和可泛化的非线性物理动力学表征？
• RQ2 几何和拓扑先验（如周期性、对称性）如何提升学习动力系统时的重建精度和抗噪能力？
• RQ3 错误的潜在空间拓扑（如使用 $\mathbb{R}^2$ 而非环面）对模型性能和泛化能力有何影响？
• RQ4 在含噪声的训练数据下，嵌入流形的VAE在多大程度上优于标准VAE？
• RQ5 将物理约束整合到潜在空间是否能提升机械系统中学习特征的可解释性和解耦性？

主要发现

• 对于具有刚性约束的二维机械臂系统，使用环面潜在空间相比 $\mathbb{R}^4$ 显著提升了重建精度，证明了匹配真实系统拓扑的优势。
• 当使用错误的拓扑（如 $\mathbb{R}^2$）时，重建精度显著下降，表明错误的流形假设会阻碍学习过程。
• 在含噪声的训练数据（$\tilde{X} = X + \sigma\eta$）下，嵌入流形的VAE优于欧几里得VAE，其表现如同滤波器，稳定了潜在表征。
• 当欧几里得潜在空间的维度超过2后，重建精度下降，凸显了冗余维度带来的过拟合风险。
• 流形正则化项 ($\mathcal{L}_{RR}$) 帮助模型学习到更一致且符合物理规律的潜在空间，尤其在噪声环境下表现更优。
• 带有流形先验的VAE在长期预测任务中表现出更强的泛化能力和稳定性，表明其具备更优的外推能力。