[论文解读] Learning to Accelerate Partial Differential Equations via Latent Global Evolution

Tailin Wu, Takashi Maruyama+1 more|arXiv (Cornell University)|Jun 15, 2022

Model Reduction and Neural Networks被引用 14

一句话总结

LE-PDE 通过在潜在空间中完全学习 PDE 状态和演化动力学的紧凑全局潜在表征，加速了偏微分方程（PDE）模拟与反向优化，实现了最高 128× 的状态维度降低和相比基线方法 15× 的速度提升，同时保持了良好的精度和对噪声的鲁棒性。

ABSTRACT

Simulating the time evolution of Partial Differential Equations (PDEs) of large-scale systems is crucial in many scientific and engineering domains such as fluid dynamics, weather forecasting and their inverse optimization problems. However, both classical solvers and recent deep learning-based surrogate models are typically extremely computationally intensive, because of their local evolution: they need to update the state of each discretized cell at each time step during inference. Here we develop Latent Evolution of PDEs (LE-PDE), a simple, fast and scalable method to accelerate the simulation and inverse optimization of PDEs. LE-PDE learns a compact, global representation of the system and efficiently evolves it fully in the latent space with learned latent evolution models. LE-PDE achieves speed-up by having a much smaller latent dimension to update during long rollout as compared to updating in the input space. We introduce new learning objectives to effectively learn such latent dynamics to ensure long-term stability. We further introduce techniques for speeding-up inverse optimization of boundary conditions for PDEs via backpropagation through time in latent space, and an annealing technique to address the non-differentiability and sparse interaction of boundary conditions. We test our method in a 1D benchmark of nonlinear PDEs, 2D Navier-Stokes flows into turbulent phase and an inverse optimization of boundary conditions in 2D Navier-Stokes flow. Compared to state-of-the-art deep learning-based surrogate models and other strong baselines, we demonstrate up to 128x reduction in the dimensions to update, and up to 15x improvement in speed, while achieving competitive accuracy.

研究动机与目标

• 解决使用经典求解器和深度学习代理模型模拟大规模 PDE 时计算成本过高的问题，这些方法在离散化分辨率提高时扩展性差。
• 克服现有深度学习模型中局部演化的局限性，即在每个时间步单独更新每个单元。
• 通过学习全局、低维的潜在动力学，实现高效的长时程 PDE 模拟与反向优化。
• 通过新颖的学习目标和非可微边界条件的退火技术，确保潜在动力学的长期稳定性和准确性。

提出的方法

• 学习一个动态编码器，将输入 PDE 状态压缩为低维潜在向量，以及一个静态编码器，用于编码边界条件和参数。
• 使用完全在潜在空间中运行的潜在动力学模型演化潜在状态，避免逐单元更新。
• 引入多步潜在一致性目标以稳定潜在空间中的长期预测，同时结合输入空间中的多步重建损失。
• 在潜在空间中实现时间反向传播，用于边界条件的反向优化，显著加速参数调优。
• 在反向优化过程中，对边界掩码应用退火技术，以处理不可微性和稀疏交互问题。
• 端到端联合训练完整模型，优化目标包括潜在空间和输入空间中的重建精度以及长期演化保真度。

实验结果

研究问题

• RQ1 全局、低维的潜在表征能否捕捉复杂 PDE 系统的本质动力学，从而实现比逐单元更新方法更快的模拟？
• RQ2 如何训练潜在动力学，以确保在混沌或湍流 PDE 情况下的长期稳定性和准确性？
• RQ3 通过在潜在空间中进行时间反向传播，PDE 参数（如边界条件）的反向优化能在多大程度上被加速？
• RQ4 潜在演化模型对真实世界数据中的观测噪声有多鲁棒，尤其是在真实状态被污染的情况下？
• RQ5 联合训练自编码器与动力学组件是否优于基于预训练的数据约简方法？

主要发现

• LE-PDE 在长时程滚动过程中，将需更新的状态变量数量最多降低 128×，显著降低了计算成本。
• 与强基线相比，该方法在 1D 和 2D PDE 基准测试中实现了最高 15× 的推理速度提升，同时保持了具有竞争力的预测精度。
• LE-PDE 展现出对噪声的强大鲁棒性：在 1D Burgers 方程中，即使噪声振幅高达 10⁻³，累积误差仍低于 1.456；在 10⁻² 时，误差低于 2.612。
• 在 2D Navier-Stokes 案例中，当噪声振幅达到 0.1 时，累积误差仅从 0.1861 略增至 0.2012，表明其对高达状态范围 2.5% 的噪声水平具有强韧性。
• 在训练动力学前单独预训练自编码器或 VAE 会导致性能显著下降（例如，1D 情况下从 1.952 降至 1.127），证明了联合训练的必要性。
• 与自编码器相比，基于 VAE 的编码器性能较差，因其引入的随机性对确定性 PDE 动力学而言并非最优。