[論文レビュー] Solving Irregular and Data-enriched Differential Equations using Deep Neural Networks

Craig Michoski, Miloš Milosavljević+2 more|arXiv (Cornell University)|May 10, 2019

Model Reduction and Neural Networks参考文献 56被引用数 9

ひとこと要約

本稿では、衝撃波を伴う不規則でデータ豊富な偏微分方程式（PDE）を解くための深層ニューラルネットワーク（DNN）ベースの手法を提案する。PDEの弱形式における残差誤差を最小化し、教師あり学習を用いて実験データを統合することで、有限要素法と同等の精度を達成するDNNフレームワークが構築された。一方で、1回の走行でパラメータ空間全体の探索が可能になり、大規模なデータの自然な統合が可能である。圧縮流体およびMHD系において、学習された源項によって物理的不一致を是正することで、優れた性能を示した。

ABSTRACT

Recent work has introduced a simple numerical method for solving partial differential equations (PDEs) with deep neural networks (DNNs). This paper reviews and extends the method while applying it to analyze one of the most fundamental features in numerical PDEs and nonlinear analysis: irregular solutions. First, the Sod shock tube solution to compressible Euler equations is discussed, analyzed, and then compared to conventional finite element and finite volume methods. These methods are extended to consider performance improvements and simultaneous parameter space exploration. Next, a shock solution to compressible magnetohydrodynamics (MHD) is solved for, and used in a scenario where experimental data is utilized to enhance a PDE system that is \emph{a priori} insufficient to validate against the observed/experimental data. This is accomplished by enriching the model PDE system with source terms and using supervised training on synthetic experimental data. The resulting DNN framework for PDEs seems to demonstrate almost fantastical ease of system prototyping, natural integration of large data sets (be they synthetic or experimental), all while simultaneously enabling single-pass exploration of the entire parameter space.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）が、従来の数値的手法が困難とする不規則な解、特に衝撃波を伴うPDEをどれほど正確に解けるかを評価すること。
• DNNベースのソルバーが、微分不能な特徴を有する系において、精度、安定性、耐障害性の観点から、古典的な有限要素法および有限体積法と比べてどのように性能を発揮するかを調査すること。
• DNNフレームワークを拡張し、基礎となるPDEモデルが観測データと一致しない場合に、実験データを物理的PDEモデルに統合すること。
• DNN最適化を用いて、従来の反復的ソルバーに起因する制限を克服し、PDE系のパラメータ空間全体を一度の走行で同時に探索できるようにすること。
• DNNが、シミュレーションと実験データの差異を分析することで、学習された源項を通じて欠落した物理を特定する有効性を示すこと。

提案手法

• DNNフレームワークは、空間的・時間的領域における平均二乗誤差を組み合わせた損失関数を用いて、PDE系の弱形式における残差を最小化する。
• 解の成分に対する$L^2$-ノルム罰則を適用することで、ニューラルネットワークの出力を正則化し、過学習を防ぎ、滑らかさを確保する。
• 実験データは、$1000 \times 1000$グリッド上の測定値$E_{\text{exp}}$を表す教師あり損失項$\|E_{\text{exp}} - E\|_{\mathfrak{L}_2}$として統合される。
• ベースPDEモデルと実験観測値の差異を是正するため、学習された源項$f_i$を導入し、各$f_i$は残差不一致を最小化するように訓練される。
• 標準的なディープラーニングライブラリ（例：TensorFlow、PyTorch）を用いて、100行以内のコードで複雑な多次元PDE系をプロトタイプ化する。
• 特に衝撃波領域における不連続な特徴をなめらかにするために、人工的拡散を追加することで数値的安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 DNNは、Sodの衝撃管問題における衝撃波のような不規則な解を、従来の有限要素法および有限体積法と比較してどの程度正確に近似できるか？
• RQ2 DNNベースのソルバーは、PDE系のパラメータ空間全体を1回の走行でどの程度効果的に探索できるか。また、従来の反復的ソルバーと比較してどのような利点があるか？
• RQ3 DNNは、不完全または検証不足のPDEモデルに、学習された補正源項を通じて実験データを効果的に統合できるか？
• RQ4 実験観測値と比較した場合、学習された源項$f_1, f_2, f_3$が、ベースPDE系に欠落した物理をどのように明らかにするか？
• RQ5 MHD系において、磁場の変動が速度場および温度場の不一致を診断する上で果たす役割は何か？

主な発見

• DNNベースのソルバーは、Sodの衝撃管解を、従来の有限要素法および有限体積法と同等の精度と安定性で正確に近似した。
• DNNフレームワークは、最小限の数値的拡散で衝撃波を的確に捉え、局所的な解析的不連続性に対しても頑健であることを示した。
• 学習された源項$f_1$は、モデルと実験データの間の顕著な初期質量不一致を是正した。これは、化学反応による予期しない質量流入が原因である可能性を示唆している。
• 速度不一致$f_2$と温度不一致$f_3$は、$f_1$では説明できない複雑で非自明な変動を示し、運動量およびエネルギー方程式に未モデル化されたダイナミクスが存在することを示唆している。
• $f_2$および$f_3$の特徴的な変動は、実験的に測定された磁場と強く相関しており、磁場効果が観測された不一致の主な要因であることを示している。
• DNNフレームワークにより、1回の学習走行でパラメータ空間全体を完全かつ同時に探索でき、従来手法と比較して計算コストを顕著に削減した。