[論文レビュー] Deep Neural Network Modeling of Unknown Partial Differential Equations in Nodal Space

Zhen Chen, Victor Churchill+2 more|arXiv (Cornell University)|Jun 7, 2021

Model Reduction and Neural Networks参考文献 34被引用数 50

ひとこと要約

本稿では、物理的（ノード）空間における解の軌道データから、モード変換や幾何情報が不要な未知の時変係数偏微分方程式（PDE）を直接学習するための深層ニューラルネットワーク（DNN）フレームワークを提案する。この手法は、PDEの時間ステッピング進化作用素を模倣する新しいDNNアーキテクチャを用い、構造的・非構造的メッシュの両方で正確なモデリングを可能にし、非線形PDE（例：非粘性バーガーズ方程式）におけるショックの捉え込みも可能である。

ABSTRACT

We present a numerical framework for deep neural network (DNN) modeling of unknown time-dependent partial differential equations (PDE) using their trajectory data. Unlike the recent work of [Wu and Xiu, J. Comput. Phys. 2020], where the learning takes place in modal/Fourier space, the current method conducts the learning and modeling in physical space and uses measurement data as nodal values. We present a DNN structure that has a direct correspondence to the evolution operator of the underlying PDE, thus establishing the existence of the DNN model. The DNN model also does not require any geometric information of the data nodes. Consequently, a trained DNN defines a predictive model for the underlying unknown PDE over structureless grids. A set of examples, including linear and nonlinear scalar PDE, system of PDEs, in both one dimension and two dimensions, over structured and unstructured grids, are presented to demonstrate the effectiveness of the proposed DNN modeling. Extension to other equations such as differential-integral equations is also discussed.

研究の動機と目的

• 方程式の形に関する事前知識がなく、限られたノイズの多い軌道データからの未知の時変係数PDEの同定という課題に取り組む。
• 既存手法がモード（フーリエ）空間依存やデータグリッドの幾何的構造を必要とするという制限を克服する。
• スカラーPDEおよびPDE系を含む多様なPDEタイプを1次元および2次元領域でモデリング可能な、一般化された非メッシュフリーのDNNフレームワークを開発する。
• DNNモデルの存在を数学的に裏付ける基盤を確立し、そのアーキテクチャを基礎となるPDEの進化作用素と直接結びつける。
• 線形および非線形PDE、特にショックを伴う問題や非構造的メッシュ上での複雑なダイナミクスを含む問題において、本手法のロバスト性と精度を実証する。

提案手法

• 学習タスクを、複数の軌道からのスナップショットペア（u(t), u(t+Δt)）を用いて、未知PDEの時間進化作用素を近似することとして定式化する。
• 物理空間におけるPDEの時間ステッピングプロセスを直接模倣する、新しいDNNアーキテクチャ（分解ブロックとアセンブリレイヤーから構成）を提案する。
• 解のノード値を入力および出力として用い、スペクトル的またはモード空間への変換を回避することで、事前定義された基底関数の必要性を排除する。
• 流れ写像に基づくアプローチを用いてDNNを訓練し、時間tの状態から時間t+Δtの状態への写像を学習するが、微分データは不要である。
• 幾何情報がなくとも動作可能なDNNを設計することで、非構造的メッシュの使用を可能にする。
• ハイパーパrameterは問題ごとに調整した上で、標準的なディープラーニング訓練手順（例：Adam最適化、tanh活性化関数、バッチ学習）を適用する。

実験結果

リサーチクエスチョン

• RQ1 ノード解データのみを用いて、物理空間における未知PDEの進化作用素を深層ニューラルネットワークが正確にモデル化できるか？
• RQ2 幾何的またはトポロジカルな事前知識がなくとも、本手法のDNNアーキテクチャは非構造的メッシュ上でも精度と一般化性能を維持できるか？
• RQ3 本手法は線形および非線形PDE、PDE系、不連続解を伴う方程式を効果的に学習できるか？
• RQ4 モード空間またはスペクトル空間で動作する既存手法と比較して、ノード空間におけるDNNの性能はどの程度優れているか？
• RQ5 DNNは、訓練データにない新しい初期条件に対してどの程度一般化でき、訓練データを超える長時間ダイナミクスを予測できるか？

主な発見

• 提案されたDNNフレームワークは、1次元構造的グリッド上での粘性バーガーズ方程式の動的挙動を正確に学習・予測し、t = 2におけるショック形成を的確に捉えている。
• 非粘性バーガーズ方程式に対しては、DNNモデルがt = 2におけるショック不連続性の発展を正しく予測しており、ショック近傍での小さな振動は数値解と整合的である。
• 1次元線形波系に対しては、10,000本の軌道を用いた長期予測が達成され、t = 10までに参照解と一致する精度を示している。
• 2次元非構造的グリッド上でも、DNNモデルは広義の初期条件に対する拡散移流方程式のダイナミクスをt = 4まで正確に予測しており、参照解と良好な一致を示している。
• DNNモデルは、すべてのテスト問題において、未観測の初期条件（区分的定数および滑らかなガウスプロファイルを含む）に対しても良好な一般化性能を示している。
• データのスパarsityおよびノイズに対して本手法はロバストであることが実証されており、乱数初期条件および数値ソルバーから生成された訓練データに対しても、正確な予測が得られている。