[论文解读] Adaptive learning of effective dynamics: Adaptive real-time, online modeling for complex systems

Ivica Kičić, Pantelis R. Vlachas+4 more|arXiv (Cornell University)|Apr 4, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

AdaLED 是一种新颖的自适应、在线学习框架，通过在高保真计算求解器与学习得到的代理模型之间动态切换，加速复杂多尺度模拟。它使用自编码器进行降维，并采用集成的概率循环神经网络（RNN）作为潜在时间推进器，通过在线训练持续适应新动态，同时保持高精度，在不同雷诺数下的纳维-斯托克斯流动模拟中实现了高达 2.9 倍的净加速。

ABSTRACT

Predictive simulations are essential for applications ranging from weather forecasting to material design. The veracity of these simulations hinges on their capacity to capture the effective system dynamics. Massively parallel simulations predict the systems dynamics by resolving all spatiotemporal scales, often at a cost that prevents experimentation. On the other hand, reduced order models are fast but often limited by the linearization of the system dynamics and the adopted heuristic closures. We propose a novel systematic framework that bridges large scale simulations and reduced order models to extract and forecast adaptively the effective dynamics (AdaLED) of multiscale systems. AdaLED employs an autoencoder to identify reduced-order representations of the system dynamics and an ensemble of probabilistic recurrent neural networks (RNNs) as the latent time-stepper. The framework alternates between the computational solver and the surrogate, accelerating learned dynamics while leaving yet-to-be-learned dynamics regimes to the original solver. AdaLED continuously adapts the surrogate to the new dynamics through online training. The transitions between the surrogate and the computational solver are determined by monitoring the prediction accuracy and uncertainty of the surrogate. The effectiveness of AdaLED is demonstrated on three different systems - a Van der Pol oscillator, a 2D reaction-diffusion equation, and a 2D Navier-Stokes flow past a cylinder for varying Reynolds numbers (400 up to 1200), showcasing its ability to learn effective dynamics online, detect unseen dynamics regimes, and provide net speed-ups. To the best of our knowledge, AdaLED is the first framework that couples a surrogate model with a computational solver to achieve online adaptive learning of effective dynamics. It constitutes a potent tool for applications requiring many expensive simulations.

研究动机与目标

• 解决复杂系统（如流体流动和材料动力学）大规模模拟带来的高计算成本问题。
• 克服传统降模态模型依赖线性化或启发式闭合方法的局限性。
• 开发一种框架，实现在模拟过程中对未见动态区域的代理模型持续、在线自适应。
• 在多尺度系统中实现显著的计算加速，同时保持预测精度。
• 实现实时、自适应地将高保真求解器与数据驱动代理模型耦合，用于动态系统建模。

提出的方法

• 使用卷积自编码器从高维数据中学习系统状态的低维、有效表示。
• 使用一组概率循环神经网络（RNN）作为潜在时间推进器，在降维空间中推进系统动力学。
• 基于实时预测不确定性和精度监控，在高保真计算求解器与代理模型之间动态切换。
• 利用来自计算求解器的新生成数据，持续在线微调代理模型，以适应新的动态区域。
• 基于预测误差和不确定性估计定义求解器与代理模型之间的切换准则，以平衡速度与精度。
• 将框架集成到混合模拟循环中，交替进行微观尺度（求解器）和宏观尺度（代理模型）的推进。

实验结果

研究问题

• RQ1 是否可以在模拟过程中在线训练和自适应代理模型，以捕捉复杂多尺度系统中的演化动力学？
• RQ2 如何在实时计算中有效管理计算加速与预测精度之间的权衡？
• RQ3 单一自适应代理模型是否能在无需灾难性遗忘的情况下泛化到截然不同的动力学区域？
• RQ4 在模拟过程中，哪些标准可实现高保真求解器与学习代理模型之间可靠、动态的切换？
• RQ5 在线学习在多大程度上可提升流体动力学及其他复杂系统中降模态建模的鲁棒性与效率？

主要发现

• 在雷诺数从 400 到 1200 的二维圆柱绕流模拟中，AdaLED 实现了 2.9 倍的净加速，模拟时长为 3 天。
• 速度场的均方误差仅为约 1%，圆柱受力的均方根误差约为 5%，相关系数达 0.99。
• 该框架成功学习并适应了此前未见过的动力学区域，无需重新训练或重新初始化。
• 代理模型在在线自适应过程中对分布偏移表现出鲁棒性，并避免了灾难性遗忘。
• 在线训练机制使得代理模型能随着新数据从求解器中持续集成而不断改进。
• 通过调整预测不确定性与误差的阈值，框架可调节速度与精度之间的权衡。