[论文解读] Multiscale Neural Operator: Learning Fast and Grid-independent PDE Solvers

Björn Lütjens, Catherine H. Crawford+3 more|arXiv (Cornell University)|Jul 23, 2022

Model Reduction and Neural Networks被引用 7

一句话总结

本文提出了多尺度神经算子（MNO），一种新颖的物理信息机器学习代理模型，用于求解具有网格无关性、非局部参数化的多尺度偏微分方程（PDE）。通过学习神经算子以近似大尺度动力学中的亚网格尺度效应，MNO 实现了准线性时间复杂度，并在混沌多尺度 Lorenz96 系统上展现出优于最先进方法的准确性与灵活性。

ABSTRACT

Numerical simulations in climate, chemistry, or astrophysics are computationally too expensive for uncertainty quantification or parameter-exploration at high-resolution. Reduced-order or surrogate models are multiple orders of magnitude faster, but traditional surrogates are inflexible or inaccurate and pure machine learning (ML)-based surrogates too data-hungry. We propose a hybrid, flexible surrogate model that exploits known physics for simulating large-scale dynamics and limits learning to the hard-to-model term, which is called parametrization or closure and captures the effect of fine- onto large-scale dynamics. Leveraging neural operators, we are the first to learn grid-independent, non-local, and flexible parametrizations. Our extit{multiscale neural operator} is motivated by a rich literature in multiscale modeling, has quasilinear runtime complexity, is more accurate or flexible than state-of-the-art parametrizations and demonstrated on the chaotic equation multiscale Lorenz96.

研究动机与目标

• 解决气候、流体动力学等多尺度系统中高分辨率数值模拟的计算不可行性。
• 通过仅学习亚网格尺度参数化项并利用已知的大尺度物理，开发一种既快速又准确的代理模型。
• 通过使用神经算子实现网格无关性与非局部学习，克服现有基于机器学习的代理模型在数据需求、网格依赖性和灵活性方面的局限性。
• 在混沌多尺度 PDE（如 Lorenz96 系统）中实现高效的不确定性量化与参数探索。

提出的方法

• 该方法将 PDE 分解为大尺度（LS）动力学（通过已知物理显式求解）和细尺度（FS）效应（作为参数化项建模）。
• 训练神经算子以学习从大尺度状态到亚网格强迫项的映射，从而实现在网格无关性与非局部预测。
• 神经算子采用基于傅里叶的架构，包含多层，通过 Adam 优化与指数学习率调度器进行端到端学习。
• 模型在粗粒度模拟的数据集上进行训练，包含真实细尺度校正项，时间建模仅使用一个时间步的历史信息。
• 该方法将学习到的参数化嵌入大尺度模拟中，类似于气候模型中物理参数化的实现方式。
• 该方法无需自动微分求解器，也无需为新网格重新训练，从而实现在不同分辨率下的快速推理。

实验结果

研究问题

• RQ1 基于机器学习的代理模型能否在多尺度 PDE 中实现对亚网格尺度效应的网格无关性、非局部参数化？
• RQ2 此类模型能否在不同空间分辨率下保持高精度，同时实现准线性时间复杂度？
• RQ3 在混沌多尺度系统中，基于神经算子的参数化与传统线性或局部机器学习参数化相比表现如何？
• RQ4 物理信息学习在多尺度 PDE 代理建模中，能在多大程度上减少数据需求并提升泛化能力？

主要发现

• MNO 模型在多尺度 Lorenz96 系统上的平均值与标准差预测精度显著优于基于机器学习的参数化方法与气候学基准。
• MNO 模型在长时间序列上以高保真度预测真实动力学，优于标准机器学习参数化方法（在约 t=0.125 后发生发散）。
• MNO 模型在单个 CPU 上训练仅耗时 1 小时 50 分钟，表明模型训练具有极低的数据与计算成本。
• 基于神经算子的参数化具有网格无关性与非局部性，可在无需重新训练的情况下泛化至不同空间分辨率。
• MNO 方法实现了准线性时间复杂度，使其在传统求解器不可行的高分辨率模拟中具备可扩展性。
• 与依赖最小二乘拟合且无法捕捉非线性亚网格效应的传统线性参数化相比，该模型展现出更优的灵活性与准确性。