[論文レビュー] Accelerating PDE-constrained Inverse Solutions with Deep Learning and Reduced Order Models

Sheroze Sheriffdeen, Jean C. Ragusa+3 more|arXiv (Cornell University)|Dec 17, 2019

Model Reduction and Neural Networks参考文献 22被引用数 16

ひとこと要約

本論文は、高精度なPDE解との誤差を学習することで、射影型ROMを補正する深層学習強化型低次元モデル（DL-ROM）を提案する。物理的整合性を保ちつつ、著しく高い精度を達成し、PDE制約付き逆問題の計算を大幅に高速化する。楕円型PDEおよび中性子輸送問題の実験で、相対誤差を0.01%まで低減し、高精度に近い結果を得るとともに、評価速度を100万倍以上に高速化した。

ABSTRACT

Inverse problems are pervasive mathematical methods in inferring knowledge from observational and experimental data by leveraging simulations and models. Unlike direct inference methods, inverse problem approaches typically require many forward model solves usually governed by Partial Differential Equations (PDEs). This a crucial bottleneck in determining the feasibility of such methods. While machine learning (ML) methods, such as deep neural networks (DNNs), can be employed to learn nonlinear forward models, designing a network architecture that preserves accuracy while generalizing to new parameter regimes is a daunting task. Furthermore, due to the computation-expensive nature of forward models, state-of-the-art black-box ML methods would require an unrealistic amount of work in order to obtain an accurate surrogate model. On the other hand, standard Reduced-Order Models (ROMs) accurately capture supposedly important physics of the forward model in the reduced subspaces, but otherwise could be inaccurate elsewhere. In this paper, we propose to enlarge the validity of ROMs and hence improve the accuracy outside the reduced subspaces by incorporating a data-driven ML technique. In particular, we focus on a goal-oriented approach that substantially improves the accuracy of reduced models by learning the error between the forward model and the ROM outputs. Once an ML-enhanced ROM is constructed it can accelerate the performance of solving many-query problems in parametrized forward and inverse problems. Numerical results for inverse problems governed by elliptic PDEs and parametrized neutron transport equations will be presented to support our approach.

研究の動機と目的

• PDE制約付き逆問題における計算ボトル neck を解消する。これは、繰り返し高精度な前向き計算を必要とするためである。
• 物理的整合性を損なわず、内在的な限界を超えて低次元モデル（ROM）の精度を向上させる。
• 物理的性質を保つROMと、データ駆動型の深層学習を組み合わせ、高精度なシミュレーションおよび観測データを用いてROMの誤差を補正する。
• パラメータ推定やベイズ推論などの多くのクエリを要する逆問題を、パラメータから観測値への写像を高速化することで効率的に解く。
• 物理的忠実性（ROMによる実装）と精度向上（深層学習による実装）を分離することで、頑健で汎用性の高い代替モデルを実現する。

提案手法

• 低次元部分空間に全次元モデル（FOM）を射影するための低次元基底Φを用いて、射影型低次元モデル（ROM）を構築する。これにより物理的整合性と計算効率が保証される。
• 深層ニューラルネットワーク（DNN）を訓練し、パrameterの多様な実現におけるROM解と高精度FOM解との乖離を学習する。
• 制約付き最小二乗法を用いて、保存則や安定性といった重要な物理的性質がROMに保持されるようにする。
• パrameter入力、対応する高精度FOM出力、ROM出力を含むデータセットを用いて、誤差関数 e(u) = FOM(u) - ROM(u) を学習する。
• 訓練済みDNNによる誤差関数を適用し、ROM予測を補正することで、DL強化型ROMを構築する：FOM ≈ ROM + DNN(e(u))。
• DL強化型ROMを、逆問題を含む多くのクエリ問題においてFOMの代わりに使用することで、計算コストを著しく削減しながらも高い精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、物理的整合性を保つ低次元モデルの誤差を、多様なパrameter領域にわたり効果的に補正できるか？
• RQ2 PDE制約付き逆問題において、DL強化型ROMは、標準的なROMおよびブラックボックス型深層学習代替モデルに比べ、精度と効率の両面で優れているか？
• RQ3 中性子輸送のような複雑なベンチマークにおいて、DL強化型ROMは高精度解との相対誤差をどの程度低減できるか？
• RQ4 ROMによる物理的埋め込みとDNNによる精度向上を分離することで、エンドツーエンドの深層学習よりも信頼性が高く汎用性の高いモデルが得られるか？
• RQ5 パrameter推定やベイズ推論など、多数の前向き評価を要する逆問題において、DL強化型ROMは実際に有効に利用できるか？

主な発見

• 22次元のROMにおいて、DL強化型ROMは、高精度拡散FOMの1.08%、3次元ROMの114.05%と比較して、目的関数の相対誤差を0.010%まで低減した。
• わずか3つの低次元基底ベクトルでさえ、DL強化型ROMは相対誤差0.86%を達成し、補正なしのROM（114.05%誤差）を著しく上回った。
• 全次元モデルと比較して、計算コストを100万倍以上に削減しながら、高精度に近い結果（0.01%誤差）を達成した。
• DNNが学習した乖離関数は、元の物理的近似に制限があるにもかかわらず、拡散ROMにおける系誤差を効果的に補正した。
• 拡散解と輸送解の差を学習することで、高精度拡散FOM（1.06%誤差）を上回る性能を示し、直接近似ではなく誤差モデル化の価値を実証した。
• スパarsな温度観測データを用いた熱伝導率再構築の決定的逆問題を、効率的に解けることを示し、実用的逆問題応用における有効性を検証した。