[論文レビュー] Model-Constrained Deep Learning Approaches for Inverse Problems.

Hai V. Nguyen, Tan Bui–Thanh|arXiv (Cornell University)|May 25, 2021

Model Reduction and Neural Networks参考文献 34被引用数 6

ひとこと要約

本稿では、物理的数学的モデルを深層ニューラルネットワークに統合することで、特に低データ環境下において逆問題を解く際の精度と一貫性を向上させる、モデル制約付きのディープラーニング手法を提案する。下位のモデルからの1次最適性条件を埋め込むことで、物理的一致性が保証され、完全にデータドリブンなネットワークを上回る性能を発揮する。

ABSTRACT

Deep Learning (DL), in particular deep neural networks (DNN), by design is purely data-driven and in general does not require physics. This is the strength of DL but also one of its key limitations when applied to science and engineering problems in which underlying physical properties (such as stability, conservation, and positivity) and desired accuracy need to be achieved. DL methods in their original forms are not capable of respecting the underlying mathematical models or achieving desired accuracy even in big-data regimes. On the other hand, many data-driven science and engineering problems, such as inverse problems, typically have limited experimental or observational data, and DL would overfit the data in this case. Leveraging information encoded in the underlying mathematical models, we argue, not only compensates missing information in low data regimes but also provides opportunities to equip DL methods with the underlying physics and hence obtaining higher accuracy. This short communication introduces several model-constrained DL approaches (including both feed-forward DNN and autoencoders) that are capable of learning not only information hidden in the training data but also in the underlying mathematical models to solve inverse problems. We present and provide intuitions for our formulations for general nonlinear problems. For linear inverse problems and linear networks, the first order optimality conditions show that our model-constrained DL approaches can learn information encoded in the underlying mathematical models, and thus can produce consistent or equivalent inverse solutions, while naive purely data-based counterparts cannot.

研究の動機と目的

• 科学的・工学的逆問題において、安定性や保存則といった物理的制約が不可欠であるが、完全にデータドリブンなディープラーニング手法にはその制限があることに対処すること。
• 下位の数学的モデルからの情報をディープラーニングアーキテクチャに統合することで、低データ環境下での一般化性能と精度を向上させること。
• 逆問題の数学的構造と整合するディープラーニング手法を開発し、物理的に妥当な解を得ること。
• 標準的なデータドリブンネットワークとは異なり、モデル制約付きネットワークが古典的最適化法と同等または一貫した解を得られることを示すこと。
• 非線形および線形逆問題におけるモデル制約の統合について、理論的および実証的根拠を提供すること。

提案手法

• 深層ニューラルネットワークの損失関数に、下位の逆問題の1次最適性条件を統合する。
• フィードフォワード型深層ニューラルネットワークおよびオートエンコーダーを、逆問題の数学的モデルによって明示的に制約する。
• 線形問題および線形ネットワークの場合、学習された解が古典的変分法と同一の最適性条件を満たすことを保証する。
• 訓練目的関数にモデルベース正則化を用いて、正の値、保存則、安定性といった物理的性質を埋め込む。
• 訓練データと前方モデルの構造の両方を活用してネットワークの学習をガイドし、低データ環境下での過剰適合を低減する。
• ネットワークが逆演算子を近似するのと同時に、下位の物理法則を尊重する統一的フレームワークを導出する。

実験結果

リサーチクエスチョン

• RQ1 数学的モデルによって制約されたディープラーニングモデルは、逆問題における解の整合性と精度を向上させることができるか？
• RQ2 低データ環境下において、モデル制約付き学習は完全にデータドリブンなディープラーニングと比べてどのように異なるか？
• RQ3 モデル制約付きネットワークは、線形逆問題において古典的最適化法と同等の解を得られるか？
• RQ4 1次最適性条件は、ディープラーニングに基づく逆問題解法における物理的一致性を保証するために果たす役割は何か？
• RQ5 モデル構造を統合することで、訓練データが限られた場合に過剰適合がどのように低減されるか？

主な発見

• モデル制約付きディープラーニング手法は、線形逆問題において、古典的変分法と同等または一貫した逆解を得る。
• 完全にデータドリブンなネットワークとは異なり、モデル制約付きネットワークは安定性、保存則、正の値といった物理的制約を尊重する。
• 数学的モデルにエンコードされた情報を活用することで、低データ環境下での過剰適合が低減される。
• 線形ネットワークおよび線形問題の場合、モデルの1次最適性条件により、ディープラーニングによる解が真の逆解と一致することが保証される。
• 提案されたフレームワークにより、データが限られる状況でも、標準的なデータドリブン手法よりも一般化性能が向上し、より高い精度が達成される。
• モデル制約の統合により、科学的・工学的応用において、より信頼性が高く物理的に妥当な解が得られるようになる。