[论文解读] Deep Multiscale Model Learning

Yating Wang, Siu Wun Cheung+3 more|arXiv (Cornell University)|Jun 13, 2018

Model Reduction and Neural Networks参考文献 5被引用 18

一句话总结

该论文提出了一种名为深度多尺度模型学习（DMML）的新框架，将非局部多连续介质（NLMC）多尺度模型降尺度与深度神经网络相结合，为非线性偏微分方程（PDE）构建数据驱动的粗网格模型。通过利用多尺度概念定义具有物理意义的自由度和连接关系，并使用混合观测数据与计算数据对所得网络进行训练，DMML即使在观测数据有限的情况下，也能实现高精度且具备物理一致性的预测，在数值实验中显著优于纯数据驱动或仅依赖仿真的方法。

ABSTRACT

The objective of this paper is to design novel multi-layer neural network architectures for multiscale simulations of flows taking into account the observed data and physical modeling concepts. Our approaches use deep learning concepts combined with local multiscale model reduction methodologies to predict flow dynamics. Using reduced-order model concepts is important for constructing robust deep learning architectures since the reduced-order models provide fewer degrees of freedom. Flow dynamics can be thought of as multi-layer networks. More precisely, the solution (e.g., pressures and saturations) at the time instant $n+1$ depends on the solution at the time instant $n$ and input parameters, such as permeability fields, forcing terms, and initial conditions. One can regard the solution as a multi-layer network, where each layer, in general, is a nonlinear forward map and the number of layers relates to the internal time steps. We will rely on rigorous model reduction concepts to define unknowns and connections for each layer. In each layer, our reduced-order models will provide a forward map, which will be modified ("trained") using available data. It is critical to use reduced-order models for this purpose, which will identify the regions of influence and the appropriate number of variables. Because of the lack of available data, the training will be supplemented with computational data as needed and the interpolation between data-rich and data-deficient models. We will also use deep learning algorithms to train the elements of the reduced model discrete system. We will present main ingredients of our approach and numerical results. Numerical results show that using deep learning and multiscale models, we can improve the forward models, which are conditioned to the available data.

研究动机与目标

• 开发一种稳健的框架，用于构建非线性多尺度PDE的粗网格模型，同时融合观测数据与物理约束。
• 通过将观测数据与深度学习融合的计算数据相结合，解决多尺度模拟中观测数据有限的挑战。
• 通过将多尺度模型降尺度概念嵌入深度神经网络架构，提升升尺度模型的精度与泛化能力。
• 证明多尺度模型降尺度可指导网络架构设计，确保物理可解释性并减少自由度。
• 验证混合训练策略（结合观测与计算数据）在观测数据稀疏时可显著提升模型性能。

提出的方法

• 该方法以非局部多连续介质（NLMC）方法为基础，定义具有物理意义的粗网格自由度，如解的平均值。
• 将模拟中的每个时间步建模为深度神经网络的一层，其中时间 $n+1$ 的解被预测为时间 $n$ 的解和输入参数的非线性映射。
• 网络架构由多尺度模型降尺度方法指导，确保连接关系和未知数反映物理影响区域与局部非均质性。
• 采用混合训练策略，将观测数据与不同渗透率场的仿真计算数据结合，以提升泛化能力与数据效率。
• 使用损失函数最小化预测结果与观测最终时间解之间的差异，分别对仅使用观测数据、仅使用仿真数据以及混合数据的网络进行训练。
• 该框架采用多层结构，每层对应一个时间步，通过深度学习学习前向映射，同时保持多尺度结构特征。

实验结果

研究问题

• RQ1 深度学习能否与多尺度模型降尺度有效结合，为非线性PDE构建准确、数据驱动的粗网格模型？
• RQ2 同时包含观测与计算数据对学习模型的性能与泛化能力有何影响？
• RQ3 多尺度概念（如影响区域与降维自由度）能否改善多尺度模拟中深度神经网络的架构与训练？
• RQ4 数据稀缺对模型精度有何影响？混合数据训练能否缓解此问题？
• RQ5 所学习的深度网络在实现高预测精度的同时，能在多大程度上保持物理一致性？

主要发现

• 在示例1中，混合数据驱动网络在最终时间预测上的平均误差为5.6%，显著优于纯仿真网络（52.3%的误差），证明了引入观测数据的优势。
• 在示例2中，混合数据驱动网络的平均误差为8.5%，而纯观测网络为2.6%，表明即使观测数据有限，也能显著提升精度。
• 在示例3中，当渗透率对比度高且数据高度不同时，混合网络（平均误差8.8%）显著优于纯仿真网络（64.3%的误差），证明了混合数据训练的价值。
• 在混合数据上训练的网络（$\mathcal{N}_m$）的预测结果与观测数据更为接近，平均误差为8.8%，而纯仿真网络为64.3%。
• 图10中的解比较结果证实，混合训练网络（$\mathcal{N}_m$）在测试样本上产生了可靠且物理上合理的预测。
• 结果表明，基于多尺度模型降尺度方法获得的粗自由度可提升模型鲁棒性并减少过拟合，尤其在数据稀缺场景下效果显著。