[论文解读] Evolve Smoothly, Fit Consistently: Learning Smooth Latent Dynamics For Advection-Dominated Systems

Zhong Wan, Leonardo Zepeda-Núñez+2 more|arXiv (Cornell University)|Jan 25, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出了一种基于超网络的潜在动力学模型，通过引入一致性诱导正则化，学习对流主导系统中平滑的低维轨迹，从而实现高效、高保真度的多步滚动预测，且时间步长较大。该方法通过架构和正则化强制实现平滑的潜在动力学，无需了解底层PDE，从而在准确性和推理速度上优于基线模型。

ABSTRACT

We present a data-driven, space-time continuous framework to learn surrogate models for complex physical systems described by advection-dominated partial differential equations. Those systems have slow-decaying Kolmogorov n-width that hinders standard methods, including reduced order modeling, from producing high-fidelity simulations at low cost. In this work, we construct hypernetwork-based latent dynamical models directly on the parameter space of a compact representation network. We leverage the expressive power of the network and a specially designed consistency-inducing regularization to obtain latent trajectories that are both low-dimensional and smooth. These properties render our surrogate models highly efficient at inference time. We show the efficacy of our framework by learning models that generate accurate multi-step rollout predictions at much faster inference speed compared to competitors, for several challenging examples.

研究动机与目标

• 解决传统降维模型（ROM）在面对缓慢衰减的Kolmogorov n-宽度时难以实现高精度和高效率的问题，该问题在对流主导系统中尤为突出。
• 开发一种数据驱动的代理模型，直接从轨迹中学习潜在动力学，而无需精确了解底层PDE。
• 通过嵌入时空连续性、因果性、网格无关性以及潜在空间平滑性等归纳偏置，增强基于神经网络模型的物理合理性。
• 通过正则化潜在轨迹的平滑性，提升长时程预测的稳定性和准确性，从而在推理过程中支持较大的时间步长。
• 在Kuramoto-Sivashinsky方程和Korteweg-de Vries方程等基准对流主导PDE上验证该框架的有效性。

提出的方法

• 采用超网络架构，其中共享的编码器-超网络计算解码器网络的权重，从而实现系统状态的参数化、连续时空表示。
• 解码器网络设计采用周期性激活函数（如sin(πx)），以隐式编码空间周期性，提升对振荡动力学的逼近能力。
• 引入一致性正则化损失，以强制潜在轨迹的平滑性，确保时间或空间中的微小扰动仅引起潜在状态的微小变化。
• 潜在动力学采用具有多尺度U-Net结构的神经ODE建模，以提取层次化特征，实现低维潜在空间中的精确演化。
• 采用两阶段训练协议：首先在轨迹上预训练编码器和超网络，然后通过多步滚动监督微调动力学模型。
• 推理完全在潜在空间中进行，仅在需要时才进行解码，从而支持大时间步长，显著提升计算效率。

Figure 1: (left) Diagram of the latent space evolution, where $u$ represents the state variables, and $\theta$ the latent space variables, which in this case correspond to the weights of a neural network. (right) Sketch of two possible latent space trajectories, we seek to implicitly regularize the

实验结果

研究问题

• RQ1 基于数据驱动的连续时间潜在动力学模型是否能在不了解PDE的前提下，对对流主导PDE实现高保真度、长时程的预测？
• RQ2 通过一致性正则化强制潜在轨迹平滑，相比非正则化模型，是否能显著提升泛化能力和推理效率？
• RQ3 基于超网络的架构结合周期性激活函数，能在多大程度上提升对复杂振荡物理系统的逼近能力？
• RQ4 与采用潜在平滑性约束的分阶段训练相比，端到端训练编码器和动力学模型是否会降低性能？
• RQ5 在基准对流主导系统上，所提模型与FNO、DeepONet和DMD等最先进方法相比，在准确性和速度方面表现如何？

主要发现

• 在Kuramoto-Sivashinsky方程和Korteweg-de Vries方程上，所提方法的相对RMSE显著低于基线模型，微调后的模型相比预训练模型误差降低高达50%。
• 通过多步训练进行微调可消除预测中的非物理解析区域，尤其在KdV和KS系统中，显著提升了视觉和定量保真度。
• 发现端到端训练会降低滚动预测的质量和稳定性，表明潜在平滑性正则化对长时程动力学至关重要。
• 在解码器中使用周期性激活函数（如sin(πx)）相比ReLU，可将平均相对RMSE降低高达90%，凸显其在周期性物理系统中的重要性。
• 由于潜在轨迹的平滑性，该模型在推理中可支持大时间步长，从而在计算效率上显著优于竞争方法。
• 空间能量谱和样本滚动预测结果表明，该模型能良好捕捉多种预测范围内的丰富时空模式，在准确性和泛化能力上均优于FNO、DeepONet和DMD。

Figure 2: The Nonlinear Fourier Ansatz (left) featurizes the input with $\sin/\cos$ functions with specified frequency and trainable phases, and integrates a small MLP to parametrize functions which are periodic in $[0,L]$ . The Hyper U-Net (right) architecture partitions weights according to their