[論文レビュー] Encoding physics to learn reaction-diffusion processes

Chengping Rao, Pu Ren+4 more|arXiv (Cornell University)|Jun 9, 2021

Model Reduction and Neural Networks被引用数 8

ひとこと要約

本稿では、反応拡散過程の学習を、疎でノイズの多いデータから改善するために、既知のPDE構造をニューラルネットワークに埋め込む物理学符号化深層学習フレームワーク、PeRCNNを提案する。物理的制約をハードコーディングし、記号計算を用いて動的ライブラリ行列を構築することで、PDEの正確で解釈可能かつ一般化可能な前向きおよび逆問題モデリングが可能となり、標準的なPINNよりもデータ効率性とロバスト性に優れる。

ABSTRACT

Modeling complex spatiotemporal dynamical systems, such as the reaction-diffusion processes, have largely relied on partial differential equations (PDEs). However, due to insufficient prior knowledge on some under-explored dynamical systems, such as those in chemistry, biology, geology, physics and ecology, and the lack of explicit PDE formulation used for describing the nonlinear process of the system variables, to predict the evolution of such a system remains a challenging task. Unifying measurement data and our limited prior physics knowledge via machine learning provides us with a new path to solving this problem. Existing physics-informed learning paradigms impose physics laws through soft penalty constraints, whose solution quality largely depends on a trial-and-error proper setting of hyperparameters. Since the core of such methods is still rooted in black-box neural networks, the resulting model generally lacks interpretability and suffers from critical issues of extrapolation and generalization. To this end, we propose a deep learning framework that forcibly encodes given physics structure to facilitate the learning of the spatiotemporal dynamics in sparse data regimes. We show how the proposed approach can be applied to a variety of problems regarding the PDE system, including forward and inverse analysis, data-driven modeling, and discovery of PDEs. The resultant learning paradigm that encodes physics shows high accuracy, robustness, interpretability and generalizability demonstrated via extensive numerical experiments.

研究の動機と目的

• 完全または未知のPDE形式を有する系における時空間的ダイナミクスの学習という課題に取り組むこと、特にデータが乏しい状況下での学習を目的とする。
• PINNの限界（ソフトペナルティ制約への依存、一般化性能の低さ）を克服するため、モデルに物理的構造をハードコーディングすること。
• 高い解釈可能性と一般化可能性を備えた、ロバストな前向きおよび逆問題解析、データ駆動型モデリング、PDE同定を可能にするフレームワークの開発。
• 疎な回帰と記号計算を統合することで、動的ライブラリ構築を実現し、モデルの精度と効率を向上させること。

提案手法

• 本フレームワークは、既知のPDE構造（例：反応拡散項）をネットワークのレイヤーに直接埋め込むことで、物理法則をハードコーディング可能な新規アーキテクチャ、PeRCNNを採用する。
• 記号計算モジュールがネットワーク出力から候補関数（例：u, u², ∂u/∂x）を抽出し、PDE項の可能性をカバーする動的ライブラリ行列Θ(U)を構築する。
• 支配的PDEは線形系として定式化される：Ut = Θ(U)Ξ、ここでΞはPDE係数を表すスパースな係数ベクトルである。
• STRidgeアルゴリズムを用いた疎な回帰により、PDEにおける関連項の最小集合を同定し、モデルの正確性とスパarsityのバランスを図る。
• PDE係数をトレーニング可能な変数として扱い、全測定データ上で再トレーニングすることで、発見された方程式の精度を向上させるためのファインチューニングステップを実施する。
• 計算効率を維持しながらも正確性を保持するために、疎な回帰の段階でデータを部分抽出（サブサンプリング）する。

実験結果

リサーチクエスチョン

• RQ1 物理的構造をハードコーディングする深層学習モデルは、疎でノイズの多いデータから反応拡散過程を学習する際、PINNよりも優れた性能を達成できるか？
• RQ2 記号計算と疎な回帰の統合は、発見されたPDEの正確性と解釈可能性をどのように向上させるか？
• RQ3 提案されたフレームワークは、前向き予測、逆問題解析、PDE同定の各分野において、異なるPDE系にどの程度一般化可能か？
• RQ4 動的ライブラリ構築アプローチは、事前定義された候補セットに比べ、PDE同定タスクで優れた性能を示すか？
• RQ5 係数のファインチューニングは、追加データを必要とせずに、発見されたPDEの正確性を顕著に向上させることができるか？

主な発見

• 提案されたPeRCNNフレームワークは、初期の疎な回帰に全データの10%しか使用しない状況下でも、反応拡散過程の前向きおよび逆問題モデリングにおいて高い正確性とロバスト性を達成した。
• 標準的なPINNとは異なり、物理的制約を満たさない傾向があるものの、本手法は一般化性能と解釈可能性に優れており、ソフトペナルティ制約に依存するPINNの欠点を克服した。
• STRidgeアルゴリズムを用いた疎な回帰により、合成データおよび実世界データ上で検証された結果、高いスパarsityと低回帰誤差を達成し、正しいPDE構造を的確に同定できた。
• 全データ上でPDE係数をファインチューニングすることで、予測正確性が顕著に向上し、エンドツーエンドトレーニング戦略の有効性が裏付けられた。
• 記号計算による動的ライブラリ構築は、事前定義された候補セットを上回る性能を示し、より正確で適応性の高いPDE同定を可能にした。
• 疎な回帰段階でのサブサンプリングにより、計算効率が高く保たれ、2次元のグレイ＝スミスおよびギエラー＝マイエンハルトの反応拡散系において、再構築解の高精度を維持した。