[論文レビュー] NeuralPDE: Automating Physics-Informed Neural Networks (PINNs) with Error Approximations

Kirill Zubov, Zoe McCarthy+12 more|arXiv (Cornell University)|Jul 19, 2021

Model Reduction and Neural Networks被引用数 49

ひとこと要約

NeuralPDEは、有界誤差許容を持つ新しい損失関数を生み出す、数値積分に基づく定式化を提示し、シンボリックコード生成とGPUサポートを備えた自動化PINNワークフローを可能にします。

ABSTRACT

Physics-informed neural networks (PINNs) are an increasingly powerful way to solve partial differential equations, generate digital twins, and create neural surrogates of physical models. In this manuscript we detail the inner workings of NeuralPDE.jl and show how a formulation structured around numerical quadrature gives rise to new loss functions which allow for adaptivity towards bounded error tolerances. We describe the various ways one can use the tool, detailing mathematical techniques like using extended loss functions for parameter estimation and operator discovery, to help potential users adopt these PINN-based techniques into their workflow. We showcase how NeuralPDE uses a purely symbolic formulation so that all of the underlying training code is generated from an abstract formulation, and show how to make use of GPUs and solve systems of PDEs. Afterwards we give a detailed performance analysis which showcases the trade-off between training techniques on a large set of PDEs. We end by focusing on a complex multiphysics example, the Doyle-Fuller-Newman (DFN) Model, and showcase how this PDE can be formulated and solved with NeuralPDE. Together this manuscript is meant to be a detailed and approachable technical report to help potential users of the technique quickly get a sense of the real-world performance trade-offs and use cases of the PINN techniques.

研究の動機と目的

• NeuralPDEについて、PINNを自動化する方法を含む詳細な技術報告を提供する。
• 数値積分に基づく定式化がどのように誤差許容を伴う適応性をもたらすかを説明する。
• 拡張された損失定式化がパラメータ推定と演算子発見を支援する方法を示す。
• 抽象的な定式化から純粋にシンボリックな定式化とコード生成を行うフレームワークを実演する。

提案手法

• 数値積分を用いてPINNトレーニング損失を定式化し、誤差制御可能な適応性を実現する。
• 数値積分に基づく定式化から導出される新しい損失関数を開発する。
• 訓練コードが抽象的なPDE定式化から生成されるよう、純粋にシンボリックな定式化を用いる。
• NeuralPDE内でGPUの活用とPDE系の解法を有効にする。
• Doyle-Fuller-Newmanモデル」という複雑な多物理場の例をフレームワーク内で紹介する。

実験結果

リサーチクエスチョン

• RQ1 数値積分に基づく定式化は、PINNのためにどのように有界な誤差許容を持つ損失関数を生み出すことができるか？
• RQ2 拡張損失定式を通じてNeuralPDEはパラメータ推定と演算子発見をどのように支援するか？
• RQ3 さまざまなPDEの集合に対して異なる訓練手法の性能トレードオフは何か？
• RQ4 シンボリックで抽象的な定式化をどのように活用して訓練コードを自動生成し、GPU加速PDE解法を実現できるか？

主な発見

• NeuralPDEは数値積分に結びついた新しい損失関数を生み出し、それが誤差許容への適応性を可能にする。
• このフレームワークは拡張損失定式を通じてパラメータ推定と演算子発見をサポートする。
• パフォーマンス分析は大規模なPDE集合に対して訓練手法を比較し、トレードオフを明らかにする。
• 複雑な多物理PDEであるDoyle-Fuller-Newmanモデルは、NeuralPDE内で定式化され解くことができる。