[论文解读] HEI: hybrid explicit-implicit learning for multiscale problems

Yalchin Efendiev, Wing Tat Leung+2 more|arXiv (Cornell University)|Sep 5, 2021

Advanced Mathematical Modeling in Engineering参考文献 26被引用 4

一句话总结

本文提出混合显式-隐式（HEI）学习，一种通过学习隐式粗尺度分量（$u_1$）同时显式计算细尺度分量（$u_2$）来加速多尺度PDE求解器的机器学习框架。通过将分裂格式视为序列到序列的翻译任务，该方法利用Transformer模型模拟多尺度动力学，在四个数值算例中实现了相对$L_2$误差低于0.4%、能量误差低于16%的稳定且精确的预测。

ABSTRACT

Splitting is a method to handle application problems by splitting physics, scales, domain, and so on. Many splitting algorithms have been designed for efficient temporal discretization. In this paper, our goal is to use temporal splitting concepts in designing machine learning algorithms and, at the same time, help splitting algorithms by incorporating data and speeding them up. Since the spitting solution usually has an explicit and implicit part, we will call our method hybrid explicit-implict (HEI) learning. We will consider a recently introduced multiscale splitting algorithms. To approximate the dynamics, only a few degrees of freedom are solved implicitly, while others explicitly. In this paper, we use this splitting concept in machine learning and propose several strategies. First, the implicit part of the solution can be learned as it is more difficult to solve, while the explicit part can be computed. This provides a speed-up and data incorporation for splitting approaches. Secondly, one can design a hybrid neural network architecture because handling explicit parts requires much fewer communications among neurons and can be done efficiently. Thirdly, one can solve the coarse grid component via PDEs or other approximation methods and construct simpler neural networks for the explicit part of the solutions. We discuss these options and implement one of them by interpreting it as a machine translation task. This interpretation successfully enables us using the Transformer since it can perform model reduction for multiple time series and learn the connection. We also find that the splitting scheme is a great platform to predict the coarse solution with insufficient information of the target model: the target problem is partially given and we need to solve it through a known problem. We conduct four numerical examples and the results show that our method is stable and accurate.

研究动机与目标

• 通过整合机器学习与基于物理的分解方法，加速对比度无关的分裂格式在多尺度PDE中的应用。
• 通过数据驱动模型学习隐式粗尺度解（$u_1$）以缓解其计算瓶颈，同时通过PDE显式求解细尺度分量（$u_2$）。
• 通过编码已知近似问题中的信息，实现利用不完整或部分观测的目标模型进行粗尺度解的数据同化。
• 设计混合神经网络架构，利用显式分量（$u_2$）的结构稀疏性，实现高效学习并降低通信开销。

提出的方法

• 该方法将解分解为$u = u_1 + u_2$，其中$u_1$为粗尺度分量，采用隐式处理；$u_2$为细尺度分量，采用显式处理，基于多尺度分裂概念。
• 粗尺度分量$u_1$通过基于Transformer的模型预测，该模型基于时间序列数据进行训练，将分裂格式视为序列到序列的翻译任务。
• 显式分量$u_2$通过PDE或降阶模型计算，利用其稀疏前向映射结构以提升计算效率。
• 提出了三种策略：(1) 学习$u_1$的同时计算$u_2$，(2) 使用具有独立头的混合神经网络分别处理$u_1$和$u_2$，(3) 利用$u_1$和降阶模型的数据学习$u_2$。
• 该框架结合了已知物理规律以及来自近似问题的数据，以提升粗尺度解同化任务中的预测精度。
• 通过四个数值算例对方法进行了验证，包括线性和非线性多尺度PDE，结果与高保真FEM解进行对比。

实验结果

研究问题

• RQ1 机器学习能否有效集成到多尺度分裂格式中，以加速对比度无关PDE的求解？
• RQ2 Transformer架构如何适配以建模多尺度问题中粗尺度分量的时间动力学？
• RQ3 在不牺牲精度的前提下，通过学习$u_1$同时显式计算$u_2$，能在多大程度上降低计算成本？
• RQ4 该分裂框架能否作为鲁棒平台，用于在目标模型信息不完整的情况下实现粗尺度解同化？
• RQ5 与标准深度学习模型相比，采用隐式处理$u_1$和显式处理$u_2$的混合神经网络架构在稳定性与精度方面表现如何？

主要发现

• 在非线性粗尺度解同化示例中，HEI学习方法对预测的粗尺度分量$u_{H,1}^n$实现了低于0.4%的相对$L_2$误差。
• 通过$u_{H,1}^n + ilde{u}_{H,2}^n$重构的细尺度解的相对能量误差平均降低至11.996%，相较于仅使用$u_{H,1}^n$的15.498%有显著改善。
• 在非线性示例中，$u_{H,1}^n$的预测相对$L_2$误差始终低于0.01%，表明其在长期预测中具有极高精度。
• 该方法通过利用Transformer编码跨尺度依赖关系并建模长程时间序列的能力，成功降低了多尺度动力学中的累积误差。
• 在粗尺度解同化任务中，模型在949个时间步内实现了稳定预测，误差曲线一致且无发散现象。
• 在非线性示例中，单独建模$u_{H,2}^n$的相对误差最大值低于0.1%，表明显式分量的保真度极高。