[论文解读] Interpretable learning of effective dynamics for multiscale systems

Emmanuel Menier, Sebastian Kaltenbach+3 more|arXiv (Cornell University)|Sep 11, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用 3

一句话总结

本文提出iLED，一种新颖的可解释框架，通过结合Mori-Zwanzig理论与Koopman算子理论，并引入基于神经网络的降维技术，实现对多尺度系统有效动力学的学习。该框架用物理基础的线性动力学和非线性闭包替代了黑箱LSTM，实现了在三个基准多尺度系统中的最先进精度，同时实现了完全可解释性。

ABSTRACT

The modeling and simulation of high-dimensional multiscale systems is a critical challenge across all areas of science and engineering. It is broadly believed that even with today's computer advances resolving all spatiotemporal scales described by the governing equations remains a remote target. This realization has prompted intense efforts to develop model order reduction techniques. In recent years, techniques based on deep recurrent neural networks have produced promising results for the modeling and simulation of complex spatiotemporal systems and offer large flexibility in model development as they can incorporate experimental and computational data. However, neural networks lack interpretability, which limits their utility and generalizability across complex systems. Here we propose a novel framework of Interpretable Learning Effective Dynamics (iLED) that offers comparable accuracy to state-of-the-art recurrent neural network-based approaches while providing the added benefit of interpretability. The iLED framework is motivated by Mori-Zwanzig and Koopman operator theory, which justifies the choice of the specific architecture. We demonstrate the effectiveness of the proposed framework in simulations of three benchmark multiscale systems. Our results show that the iLED framework can generate accurate predictions and obtain interpretable dynamics, making it a promising approach for solving high-dimensional multiscale systems.

研究动机与目标

• 解决高维多尺度系统模拟中的关键挑战，其中所有时空尺度的解析在计算上仍不可行。
• 克服现有基于深度学习的模型降阶方法（如使用LSTM的方法）缺乏可解释性的问题。
• 开发一种框架，在保持高预测精度的同时，通过理论基础坚实的动力学模型实现物理可解释的动力学。
• 通过将物理原理嵌入学习到的动力学中，提升复杂系统模拟的泛化能力与可信度。
• 在包括Kuramoto-Sivashinsky方程和不同雷诺数下绕圆柱流场在内的多种多尺度系统中，验证该框架的有效性。

提出的方法

• 使用神经自编码器识别能捕捉高维系统主导动力学的低维非线性流形。
• 在先前的Learning Effective Dynamics（LED）框架中，用基于Koopman算子与Mori-Zwanzig形式化的物理驱动动力学模型替代标准LSTM。
• 使用一个具有对角阻尼的斜对称矩阵（Aθ = W − Wᵀ − diag(w), w ∈ ℝ₊ᵈₕ）表示潜在动力学的线性分量，确保能量守恒与演化稳定。
• 通过深度神经网络（Ψ₂）引入非线性闭包项，以考虑未解析尺度间的相互作用，从而提升线性动力学无法覆盖的精度。
• 在自编码器和动力学网络中使用SiLU激活函数与批量归一化，以稳定训练并提升泛化能力。
• 通过专用损失项（ℒ_centering）强制潜在空间居中，以在小批量设置下保持稳定性和可解释性。

实验结果

研究问题

• RQ1 基于深度学习的模型降阶框架能否在实现与黑箱LSTM相当的精度的同时，提供完全可解释性？
• RQ2 Mori-Zwanzig理论与Koopman算子理论在多大程度上可被用于构建理论基础坚实、可解释的多尺度系统动力学模型？
• RQ3 引入物理驱动的非线性闭包项相较于纯线性潜在动力学，如何显著提升预测精度？
• RQ4 iLED框架能否在不同复杂度与尺度分离程度的多尺度系统中保持高精度与可解释性？
• RQ5 潜在空间居中与网络架构选择对学习到的动力学稳定性与性能有何影响？

主要发现

• iLED框架在Kuramoto-Sivashinsky（KS）方程上的预测精度达到最先进水平，与基于LSTM的LED模型相当或更优。
• 在Re=100和Re=750的绕圆柱流场中，iLED分别使用dₕ=3和dₕ=16的潜在维数，准确捕捉了复杂的时空动力学。
• 采用具有对角阻尼的斜对称矩阵（Aθ）确保了潜在动力学的稳定且能量守恒的演化，从而保障了长期预测的保真度。
• 引入非线性闭包项（Ψ₂）显著提升了模型精度，尤其在强非线性系统中表现优于纯线性动力学。
• ℒ_centering损失有效维持了居中的潜在空间，这对线性动力学分量的稳定性和可解释性至关重要。
• 该框架通过显式建模线性演化与闭包项，实现了可解释的动力学，使学习到的系统行为可直接进行物理解释。