[論文レビュー] Composing Partial Differential Equations with Physics-Aware Neural Networks

Matthias Karlbauer, Timothy Praditia+4 more|arXiv (Cornell University)|Jan 1, 2021

Model Reduction and Neural Networks参考文献 31被引用数 5

ひとこと要約

この論文では、部分微分方程式（PDE）を、モジュラーで有限体積法に類似たニューラルコンポonentを用いて、広義拡散過程をモデル化することで構成する物理知覚ニューラルネットワークであるFINNを紹介する。FINNは、最先端モデルの1/10のパラメータ数で、複数のオーダーの精度向上と分布外一般化を達成しており、構成的関係を明示的に学習し、新たな初期条件および境界条件に適応する。

ABSTRACT

We introduce a compositional physics-aware FInite volume Neural Network (FINN) for learning spatiotemporal advection-diffusion processes. FINN implements a new way of combining the learning abilities of artificial neural networks with physical and structural knowledge from numerical simulation by modeling the constituents of partial differential equations (PDEs) in a compositional manner. Results on both one- and two-dimensional PDEs (Burgers', diffusion-sorption, diffusion-reaction, Allen--Cahn) demonstrate FINN's superior modeling accuracy and excellent out-of-distribution generalization ability beyond initial and boundary conditions. With only one tenth of the number of parameters on average, FINN outperforms pure machine learning and other state-of-the-art physics-aware models in all cases -- often even by multiple orders of magnitude. Moreover, FINN outperforms a calibrated physical model when approximating sparse real-world data in a diffusion-sorption scenario, confirming its generalization abilities and showing explanatory potential by revealing the unknown retardation factor of the observed process.

研究の動機と目的

• 数値PDEソルバーからの物理法則および構造的知識を明示的に組み込んだニューラルネットワークアーキテクチャの開発。
• 既存の物理知覚モデルの制限を克服し、多様な初期条件および境界条件にわたる一般化の実現。
• 校正された物理モデルが失敗するようなスパarsな実世界データから未知の物理的パラメータ（例：遅延係数）を学習しながら物理的整合性を維持すること。
• ベンチマークおよび実世界のPDEにおいて、純粋な機械学習モデルおよび最先端の物理知覚モデルを上回る精度、パラメータ効率、データ効率の実現。

提案手法

• FINNは、広義拡散PDEの異なる要素（例：拡散、対流、反応項）をそれぞれ表す分散型でモジュラーなニューラルネットワークで構成される合成的アーキテクチャを採用している。
• 各モジュールは、空間的・時間的整合性を保証するため、有限体積離散化の原則に従って特定のPDE項を近似するように訓練される。
• PDEの特性が変化する中で数値的安定性を維持するため、ルンゲ＝クッタ法を用いた適応的時間刻み幅制御がネットワークに組み込まれている。
• 物理的制約はネットワーク構造そのものに埋め込まれており、損失関数に基づく正則化に依存せずに予測が物理的に妥当であることを保証する。
• スパティオトロピカルデータ上でエンドツーエンドに訓練され、観測データおよびPDE構造との整合性を強制する損失関数が使用される。
• 大規模で密なネットワークを避けるモジュラー設計により、パラメータ効率が達成される。

実験結果

リサーチクエスチョン

• RQ1 初期条件および境界条件が異なる場合に、PDE項を明示的に学習・組み合わせるニューラルネットワークアーキテクチャを設計可能か？
• RQ2 ニューラルネットワークに有限体積法の離散化原則を統合することで、標準的なPINNや機械学習モデルと比較して一般化性能および物理的妥当性が向上するか？
• RQ3 校正された物理モデルが失敗するようなスパarsな実世界データから、未知の物理的パラメータ（例：遅延係数）をFINNが正確に回復できるか？
• RQ4 精度、パラメータ効率、分布外一般化の観点から、FINNの性能は最先端の物理知覚モデルおよび純粋な機械学習モデルと比較してどの程度優れているか？

主な発見

• すべてのベンチマークPDE（バーガーズ方程式、拡散吸着、拡散反応、アレン＝コーエン方程式）において、FINNはPINN、PhyDNet、および純粋な機械学習モデルを複数オーダーのrMSE向上で上回った。
• 平均して、FINNは最先端モデルの1/10のパラメータ数で優れた精度を達成した。
• 拡散吸着の実世界シナリオでは、FINNはスパarsなデータを適切に近似し、未知の遅延係数を特定した。これは校正済み物理モデルを上回る性能であった。
• 粗い空間分解能（例：49ノード）で訓練された場合でもFINNは高い精度を維持した。999ノードへの分解能の向上はPINNの性能をわずかに向上させるにとどまり、差は縮まらなかった。
• 元のアーキテクチャを用いたPhyDNetは、簡略化されたバージョンと比較して性能が著しく向上しなかったため、パラメータ削減が学習能力を損なわなかったことが示された。
• FINNのGPU上での実行時間は一部のベースラインより長かったが、これは時間刻み幅の適応性によるものではなく、適応的時間刻み幅制御は計算的に効率的であり、安定性の確保に不可欠であることが示された。