[论文解读] Model-Constrained Deep Learning Approaches for Inverse Problems.

Hai V. Nguyen, Tan Bui–Thanh|arXiv (Cornell University)|May 25, 2021

Model Reduction and Neural Networks参考文献 34被引用 6

一句话总结

本文提出了一种模型约束的深度学习方法，将物理数学模型整合到深度神经网络中，以在低数据量场景下提高求解逆问题的准确性和一致性。通过嵌入底层模型的一阶最优性条件，该方法确保了物理一致性，并优于纯数据驱动的神经网络。

ABSTRACT

Deep Learning (DL), in particular deep neural networks (DNN), by design is purely data-driven and in general does not require physics. This is the strength of DL but also one of its key limitations when applied to science and engineering problems in which underlying physical properties (such as stability, conservation, and positivity) and desired accuracy need to be achieved. DL methods in their original forms are not capable of respecting the underlying mathematical models or achieving desired accuracy even in big-data regimes. On the other hand, many data-driven science and engineering problems, such as inverse problems, typically have limited experimental or observational data, and DL would overfit the data in this case. Leveraging information encoded in the underlying mathematical models, we argue, not only compensates missing information in low data regimes but also provides opportunities to equip DL methods with the underlying physics and hence obtaining higher accuracy. This short communication introduces several model-constrained DL approaches (including both feed-forward DNN and autoencoders) that are capable of learning not only information hidden in the training data but also in the underlying mathematical models to solve inverse problems. We present and provide intuitions for our formulations for general nonlinear problems. For linear inverse problems and linear networks, the first order optimality conditions show that our model-constrained DL approaches can learn information encoded in the underlying mathematical models, and thus can produce consistent or equivalent inverse solutions, while naive purely data-based counterparts cannot.

研究动机与目标

• 解决纯数据驱动的深度学习在科学与工程逆问题中面临的局限性，其中稳定性与守恒等物理约束至关重要。
• 通过将底层数学模型的信息融入深度学习架构，提升在低数据量场景下的泛化能力与准确性。
• 开发与逆问题数学结构一致的深度学习方法，确保解的物理解释性。
• 证明模型约束网络可实现与经典优化方法相当或一致的解，而标准数据驱动网络则不能。
• 为将模型约束整合到深度学习中以解决非线性和线性逆问题，提供理论与实证依据。

提出的方法

• 将底层逆问题的一阶最优性条件整合到深度神经网络的损失函数中。
• 使用前馈深度神经网络和自编码器，其结构显式受逆问题数学模型的约束。
• 对于线性问题与线性网络，该方法确保学习到的解满足与经典变分方法相同的最优性条件。
• 通过基于模型的正则化，在训练目标中嵌入物理特性，如非负性、守恒性与稳定性。
• 利用训练数据与前向模型的结构共同引导网络学习，降低在低数据量场景下的过拟合风险。
• 推导出一个统一框架，使网络能够近似逆算子的同时尊重底层物理规律。

实验结果

研究问题

• RQ1 能否通过数学模型约束深度学习模型，以提升逆问题求解的一致性与准确性？
• RQ2 在低数据量场景下，模型约束学习与纯数据驱动深度学习相比表现如何？
• RQ3 对于线性逆问题，模型约束网络能否实现与经典优化方法相当的解？
• RQ4 一阶最优性条件在确保基于深度学习的逆问题解具有物理一致性方面起什么作用？
• RQ5 在训练数据有限时，整合模型结构如何减少过拟合？

主要发现

• 对于线性逆问题，模型约束的深度学习方法可实现与经典变分方法一致或等价的逆解。
• 与纯数据驱动网络不同，模型约束网络尊重物理约束，如稳定性、守恒性与非负性。
• 该方法通过利用数学模型中编码的信息，降低了在低数据量场景下的过拟合风险。
• 对于线性网络与线性问题，模型的一阶最优性条件可确保深度学习解与真实逆解一致。
• 所提出的框架使深度学习在泛化能力与准确性方面优于标准数据驱动方法，尤其在数据稀缺时表现更优。
• 模型约束的整合使科学与工程应用中的解更加可靠且具有物理合理性。