[論文レビュー] Physics Constrained Learning for Data-driven Inverse Modeling from Sparse Observations

Kailai Xu, Eric Darve|arXiv (Cornell University)|Feb 24, 2020

Model Reduction and Neural Networks参考文献 45被引用数 22

ひとこと要約

本稿では、疎な観測からの逆問題モデリングのため、深層ニューラルネットワークの学習中に偏微分方程式（PDE）制約を正確に満たす物理的制約付き学習フレームワークを提案する。明示的および暗黙的数値ソルバーを介した逆モード自動微分を可能にすることで、特に剛性の高い問題において、罰則法に比べて収束が速く安定性に優れる。

ABSTRACT

Deep neural networks (DNN) have been used to model nonlinear relations between physical quantities. Those DNNs are embedded in physical systems described by partial differential equations (PDE) and trained by minimizing a loss function that measures the discrepancy between predictions and observations in some chosen norm. This loss function often includes the PDE constraints as a penalty term when only sparse observations are available. As a result, the PDE is only satisfied approximately by the solution. However, the penalty term typically slows down the convergence of the optimizer for stiff problems. We present a new approach that trains the embedded DNNs while numerically satisfying the PDE constraints. We develop an algorithm that enables differentiating both explicit and implicit numerical solvers in reverse-mode automatic differentiation. This allows the gradients of the DNNs and the PDE solvers to be computed in a unified framework. We demonstrate that our approach enjoys faster convergence and better stability in relatively stiff problems compared to the penalty method. Our approach allows for the potential to solve and accelerate a wide range of data-driven inverse modeling, where the physical constraints are described by PDEs and need to be satisfied accurately.

研究の動機と目的

• 測定可能な物理的システムの出力が部分的であるような疎な観測からの逆問題モデリングの課題に対処する。
• PDE制約を近似的に満たすにとどまる罰則法の限界を克服し、剛性の高い問題における収束の遅さを改善する。
• 深層ニューラルネットワークと数値的PDEソルバーの両方を、逆モード自動微分を用いて統一的に微分可能にするフレームワークを開発する。
• 学習中にPDE制約を正確に強制することで、解の精度と最適化の安定性を向上させる。
• PDEに従う複雑な物理的システムに対する効率的かつスケーラブルなデータ駆動型逆問題モデリングを実現する。

提案手法

• 予測値と疎な観測値の乖離を測る損失関数を用いて、逆問題をPDE制約付き最適化問題として定式化する。
• PDE解をネットワークパラメータの微分可能な関数として扱う制約強制法を導入し、罰則項の必要性を回避する。
• 損失関数のネットワーク重みに関する勾配を、PDE解がパラメータに暗黙的依存する性質を組み込む形で、逆モード自動微分により計算する。
• 前方・後方計算のパターンを実装する：まずPDE解をシミュレートする（前方）、次にニューラルネットワークおよびPDEソルバーを経由して勾配を後方伝搬する。
• PDE離散化から生じる大規模かつスパースな線形系を効率的に処理するため、スパースなヤコビ行列計算と効率的な線形ソルバーを活用する。
• 係数構造を介した勾配計算を抽象化する計算フレームワーク（IGACS.jl）を構築し、PDE制約付き学習のための高水準で読みやすいコードを可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習中にPDE制約を正確に強制することで、疎な観測からのデータ駆動型逆問題モデリングにおける収束性と安定性が向上するか？
• RQ2 収束速度と解の精度という観点から、正確な制約強制法は罰則法と比較してどのように性能を発揮するか？
• RQ3 PDE制約付き学習のための統一的な自動微分フレームワーク内で、明示的および暗黙的数値ソルバーの両方を微分することが可能か？
• RQ4 逆モード自動微分を用いることで、PDE制約付きシステムに埋め込まれた深層ニューラルネットワークの学習における計算効率にどのような影響を与えるか？
• RQ5 罰則法が収束が遅くなるという問題を抱える剛性の高いPDE問題に対しても、本手法はスケーラブルに適用可能か？

主な発見

• 提案手法は、特に罰則法が収束が遅い剛性の高い問題において、収束が速く安定性に優れる。
• PDE制約を正確に強制することで、罰則項に内在する近似誤差を回避し、より高精度な解が得られる。
• 逆モード自動微分の活用により、ニューラルネットワークおよび暗黙的PDEソルバーの両方を効率的に微分可能となり、計算効率が維持される。
• 本フレームワークは明示的および暗黙的数値ソルバーの両方をサポートしており、広範なPDEシステムへの応用可能性を有する。
• IGACS.jlにおける実装は、係数ベースの演算子などの高水準な抽象化が、性能を損なわずに複雑なPDEおよびその勾配を表現可能であることを示している。
• 罰則法とは異なり、PDE解をパラメータの微分可能な関数として扱うことで、最適化変数の数を増加させない。