[論文レビュー] Deep learning of physical laws from scarce data.

Zhao Chen, Yang Liu+1 more|arXiv (Cornell University)|May 5, 2020

Model Reduction and Neural Networks被引用数 13

ひとこと要約

本論文は、表現学習のためのディープニューラルネットワーク、微分の自動計算のための自動微分、および項選択のためのスパース回帰を組み合わせることで、限られたデータとノイズが混在する状況から支配的偏微分方程式（PDE）を同定する、物理的制約を組み込んだディープラーニングフレームワークを提案する。この手法は、データが乏しくノイズが多い状況下でも、PDEの同定を安定的かつ正確に行うことができ、実世界の科学的応用への強い可能性を示している。

ABSTRACT

Harnessing data to discover the underlying governing laws or equations that describe the behavior of complex physical systems can significantly advance our modeling, simulation and understanding of such systems in various science and engineering disciplines. Recent advances in sparse identification show encouraging success in distilling closed-form governing equations from data for a wide range of nonlinear dynamical systems. However, the fundamental bottleneck of this approach lies in the robustness and scalability with respect to data scarcity and noise. This work introduces a novel physics-informed deep learning framework to discover governing partial differential equations (PDEs) from scarce and noisy data for nonlinear spatiotemporal systems. In particular, this approach seamlessly integrates the strengths of deep neural networks for rich representation learning, automatic differentiation and sparse regression to approximate the solution of system variables, compute essential derivatives, as well as identify the key derivative terms and parameters that form the structure and explicit expression of the PDEs. The efficacy and robustness of this method are demonstrated on discovering a variety of PDE systems with different levels of data scarcity and noise. The resulting computational framework shows the potential for closed-form model discovery in practical applications where large and accurate datasets are intractable to capture.

研究の動機と目的

• 複雑な空間時間的系において、限られたデータとノイズ混在状態からの物理法則の同定という課題に対処すること。
• データが乏しくノイズが多い状況下で、従来のスパース同定手法に見られるスケーラビリティおよびロバストネスの制限を克服すること。
• 表現学習、微分計算、PDE構造同定のためのスパース回帰を統合した包括的フレームワークの構築。
• 大規模で高精度なデータセットが入手不可能な実用的状況において、閉形式のモデル同定を可能にすること。

提案手法

• 限られたノイズ混在データから、システム変数の豊かな低次元表現を学習するためのディープニューラルネットワークを採用する。
• ニューラルネットワーク出力の高次元空間的および時間的微分を自動微分を活用して計算する。
• 支配的PDEを構成する最も関連性の高い微分項とパラメータを同定するため、スパース回帰問題を定式化する。
• 既知の物理法則と整合性を保つために、学習プロセスに物理的制約を統合する。
• 物理的制約を組み込んだ損失関数を用いてニューラルネットワークの訓練を正則化し、データが乏しい状況下での一般化性能を向上させる。
• ソリューションの学習と基礎となるPDE構造の同定を同時に最適化するエンドツーエンドのパイプラインを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワークは、極めて限られたノイズ混在データから真の支配的PDEを安定的に同定できるか？
• RQ2 自動微分とスパース回帰を統合することで、従来の手法と比較してPDE同定性能がどのように向上するか？
• RQ3 異なる種類の非線形空間時間的PDEに対して、さまざまなデータ条件下でこの手法はどの程度一般化可能か？
• RQ4 実世界の科学的応用において、ノイズレベルやデータの疎らかさに対して、この手法はどの程度感度を示すか？

主な発見

• 本フレームワークは、反応拡散系や波動的系を含む多様な非線形空間時間的系について、従来手法に比べて必要なデータ量のわずか1%程度のデータでも、支配的PDEを正常に同定できた。
• 著しいノイズレベル下でも高い精度とロバストネスを維持し、データが乏しい状況下で標準的なスパース同定手法を上回った。
• ディープニューラルネットワークとスパース回帰の統合により、解およびその微分の正確な近似が可能となり、PDE同定にとって不可欠な要因となった。
• 空間的・時間的側面でデータが疎らにサンプリングされた状況下でも、正しいPDE構造とパラメータを高い忠実度で同定できた。
• 反応拡散系や波動的系を含む多様なPDEクラスにわたり、スケーラビリティと一般化性能を示した。
• 物理的制約による正則化が、低データ環境下でのモデル安定性を著しく向上させ、過学習を低減した。