[论文解读] Markov Neural Operators for Learning Chaotic Systems.

Zongyi Li, Nikola Kovachki+5 more|arXiv (Cornell University)|Jun 13, 2021

Model Reduction and Neural Networks参考文献 30被引用 12

一句话总结

本文提出马尔可夫神经算子（MNO），一种深度学习框架，可学习混沌系统在无穷小时间步长下的马尔可夫算子。通过组合该学习到的算子，该方法能准确预测长期动力学、吸引子和不变测度，且不会出现轨迹发散，其在柯朗-希瓦什insky方程和纳维-斯托克斯方程上的精度与稳定性均优于先前方法。

ABSTRACT

Chaotic systems are notoriously challenging to predict because of their instability. Small errors accumulate in the simulation of each time step, resulting in completely different trajectories. However, the trajectories of many prominent chaotic systems live in a low-dimensional subspace (attractor). If the system is Markovian, the attractor is uniquely determined by the Markov operator that maps the evolution of infinitesimal time steps. This makes it possible to predict the behavior of the chaotic system by learning the Markov operator even if we cannot predict the exact trajectory. Recently, a new framework for learning resolution-invariant solution operators for PDEs was proposed, known as neural operators. In this work, we train a Markov neural operator (MNO) with only the local one-step evolution information. We then compose the learned operator to obtain the global attractor and invariant measure. Such a Markov neural operator forms a discrete semigroup and we empirically observe that does not collapse or blow up. Experiments show neural operators are more accurate and stable compared to previous methods on chaotic systems such as the Kuramoto-Sivashinsky and Navier-Stokes equations.

研究动机与目标

• 解决由于对初始条件的指数敏感性而导致的混沌系统预测挑战。
• 利用混沌轨迹位于由马尔可夫算子控制的低维吸引子上的事实。
• 开发一种神经算子，仅学习单步演化动力学，避免轨迹层面的误差。
• 将学习到的算子组合为保持长期系统行为的离散半群。
• 实现混沌系统稳定、分辨率无关的预测，且不会出现发散或坍塌。

提出的方法

• 该方法训练一个神经算子，以学习映射混沌系统无穷小时间步长演化的马尔可夫算子。
• 网络仅在局部单步动力学上进行训练，避免端到端的轨迹预测。
• 通过迭代组合学习到的马尔可夫算子来模拟长期演化，形成离散半群。
• 该框架具有分辨率不变性，可在不同空间和时间分辨率间实现泛化。
• 通过重复组合，隐式学习系统的全局吸引子和不变测度。
• 该架构基于神经算子，其在函数空间上操作，适用于求解PDE。

实验结果

研究问题

• RQ1 神经网络能否仅从局部时间步数据中学习混沌系统的马尔可夫算子？
• RQ2 组合学习到的马尔可夫算子是否能实现无轨迹发散的稳定且准确的长期预测？
• RQ3 该方法能否从局部动力学中恢复系统的全局吸引子和不变测度？
• RQ4 与标准神经算子和基线方法相比，马尔可夫神经算子在混沌PDE上的性能如何？
• RQ5 该方法在分辨率变化下是否具有鲁棒性，并在长时间积分中保持数值稳定性？

主要发现

• 马尔可夫神经算子成功地从单步演化数据中学习到底层马尔可夫算子，且无需完整轨迹监督。
• 组合后的算子在长时间范围内保持稳定，推理过程中不会坍塌或发散。
• 该方法在柯朗-希瓦什insky方程和纳维-斯托克斯方程上的精度高于先前方法。
• 预测的吸引子和不变测度与参考解高度吻合，表明系统动力学被忠实再现。
• 该框架具有分辨率不变性，可在不同离散化级别间实现泛化。
• 实验结果表明，与标准神经算子和基线模型相比，该方法在稳定性和预测保真度方面均有提升。