[论文解读] Long-time prediction of nonlinear parametrized dynamical systems by deep learning-based reduced order models

Federico Fatone, Stefania Fresca+1 more|arXiv (Cornell University)|Jan 25, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出了一种基于深度学习的降阶模型 μt-POD-LSTM-ROM，结合了本征正交分解（POD）与长短期记忆（LSTM）网络，以实现对非线性参数化动力系统的长期预测。通过将参数预测与时间预测解耦为两个独立的LSTM架构，该框架在训练窗口外实现了长达15倍的时间外推，平均相对误差为9.029×10⁻⁵，且推理速度比以往的POD-DL-ROM快52%。

ABSTRACT

Deep learning-based reduced order models (DL-ROMs) have been recently proposed to overcome common limitations shared by conventional ROMs - built, e.g., exclusively through proper orthogonal decomposition (POD) - when applied to nonlinear time-dependent parametrized PDEs. In particular, POD-DL-ROMs can achieve extreme efficiency in the training stage and faster than real-time performances at testing, thanks to a prior dimensionality reduction through POD and a DL-based prediction framework. Nonetheless, they share with conventional ROMs poor performances regarding time extrapolation tasks. This work aims at taking a further step towards the use of DL algorithms for the efficient numerical approximation of parametrized PDEs by introducing the $μt$-POD-LSTM-ROM framework. This novel technique extends the POD-DL-ROM framework by adding a two-fold architecture taking advantage of long short-term memory (LSTM) cells, ultimately allowing long-term prediction of complex systems' evolution, with respect to the training window, for unseen input parameter values. Numerical results show that this recurrent architecture enables the extrapolation for time windows up to 15 times larger than the training time domain, and achieves better testing time performances with respect to the already lightning-fast POD-DL-ROMs.

研究动机与目标

• 解决传统降阶模型（ROMs）在训练时间域之外外推解的严重局限性。
• 克服基于POD的ROM在时间外推方面表现不佳的问题，同时保持在线仿真中的高效率。
• 实现对复杂非线性参数化动力系统（包括流体动力学问题）的快速、准确且鲁棒的预测，适用于未见过的参数值和更长的时间范围。
• 开发一种非侵入式框架，兼容黑箱高保真求解器，通过支持更短的FOM快照窗口，显著降低离线计算成本。
• 为时间敏感应用（如控制、优化和不确定性量化）实现超实时性能。

提出的方法

• 将解的近似分解为两个阶段：(1) 使用参数感知LSTM预测新参数实例下的解；(2) 使用时间感知LSTM预测时间演化。
• 使用本征正交分解（POD）从高保真FOM快照中提取低维降阶流形。
• 训练一个双分支LSTM架构：一个用于参数依赖的解映射，另一个用于时间动态建模，两者均利用长短期记忆单元以捕捉长程依赖关系。
• 采用三层前馈回归器，从LSTM编码的潜在状态中预测未来的广义坐标，实现端到端的时间外推。
• 集成卷积自编码器（CAE）的解码器，从降阶坐标重建全阶解，确保空间保真度。
• 仅使用FOM快照以非侵入方式训练模型，支持与黑箱求解器兼容，并最大限度降低实现复杂度。

实验结果

研究问题

• RQ1 基于深度学习的ROM框架能否在训练时间窗口之外，对非线性参数化PDE实现可靠的长期时间外推？
• RQ2 与现有POD-DL-ROM相比，所提出的μt-POD-LSTM-ROM在准确性和速度方面表现如何，特别是在在线推理时间以及对未见参数的泛化能力方面？
• RQ3 该框架在不牺牲预测精度的前提下，通过支持更短的FOM快照窗口，能在多大程度上降低离线计算成本？
• RQ4 在复杂、非周期性或涡旋主导的流动（如层流状态下的非定常N-S方程）中，模型能否保持高精度？
• RQ5 将架构解耦（参数与时间预测分离）是否相比联合建模方法，在非线性动力系统中显著提升外推性能？

主要发现

• μt-POD-LSTM-ROM实现了长达15倍于训练时间域的外推，展示了在复杂流体动力学问题（如非定常N-S方程）中的鲁棒性。
• 对于雷诺数Re=117（涡旋脱落）的测试案例，平均相对误差为5.806×10⁻²，95%自助置信区间为[9.029×10⁻⁵, 1.053×10⁻⁴]，表明在训练数据有限的情况下仍具有高精度。
• 与基线POD-DL-ROM相比，该框架将在线预测时间减少了52%，实现了对时间尺度在十分之一秒量级问题的超实时仿真性能。
• 即使仅在速度场数据上进行训练（未使用压力数据），模型仍保持高精度，凸显其鲁棒性与泛化能力。
• μt-POD-LSTM-ROM的训练仅需2415个周期（5692秒），且通过包含160万个参数的紧凑架构实现推理加速，支持在本地设备部署，无需依赖云GPU集群。
• 该框架在周期性与非周期性系统中均成功实现外推，包括三物种Lotka-Volterra模型和线性对流-扩散-反应方程，证实了其广泛适用性。