[論文レビュー] VarNet: Variational Neural Networks for the Solution of Partial Differential Equations

Reza Khodayi-mehr, Michael M. Zavlanos|arXiv (Cornell University)|Dec 16, 2019

Model Reduction and Neural Networks参考文献 38被引用数 31

ひとこと要約

VarNetは、偏微分方程式（PDE）を解くための変分ニューラルネットワークフレームワークを導入し、PDEの積分（変分）形式に基づく、離散化に依存しない損失関数を用いる。低次の導関数とPDEの残差に基づく適応的サンプリングを活用することで、少ない学習点で正確で滑らかで微分可能な解を達成し、並列処理が優れている。これにより、モデル順序低減が効率的に行え、最適化や制御応用への直接的利用が可能となる。

ABSTRACT

In this paper we propose a new model-based unsupervised learning method, called VarNet, for the solution of partial differential equations (PDEs) using deep neural networks (NNs). Particularly, we propose a novel loss function that relies on the variational (integral) form of PDEs as apposed to their differential form which is commonly used in the literature. Our loss function is discretization-free, highly parallelizable, and more effective in capturing the solution of PDEs since it employs lower-order derivatives and trains over measure non-zero regions of space-time. Given this loss function, we also propose an approach to optimally select the space-time samples, used to train the NN, that is based on the feedback provided from the PDE residual. The models obtained using VarNet are smooth and do not require interpolation. They are also easily differentiable and can directly be used for control and optimization of PDEs. Finally, VarNet can straight-forwardly incorporate parametric PDE models making it a natural tool for model order reduction (MOR) of PDEs. We demonstrate the performance of our method through extensive numerical experiments for the advection-diffusion PDE as an important case-study.

研究の動機と目的

• ラベル付きデータや従来の数値的離散化に依存しない、モデルベースで教師なしの深層学習フレームワークを構築すること。
• 微分形式の損失関数に依存する標準的なPDE-NN手法の限界を克服すること。これらの手法は高次の導関数を必要とし、スパースなデータにおいて一般化性能が低い。
• パrameterをニューラルネットワークの入力に直接埋め込むことで、パラメトリックPDEの効率的かつ正確な解法を可能とし、モデル順序低減（MOR）を促進すること。
• PDEの残差フィードバックに基づいて空間時間の学習点を適応的に選択するアクティブサンプリング戦略を設計すること。

提案手法

• 微分形式の損失関数とは対照的に、低次の導関数を用い、空間時間領域全体にわたって積分する変分形式に基づく損失関数を提案。
• ニューラルネットワークを用いて、定義域全体にわたって連続的で滑らかで微分可能な関数としてPDEの解を近似。
• PDEの残差の大きさに基づいて学習サンプルを選択するアクティブラーニング戦略を導入。解が最も不正確な領域に注目する。
• 有限要素法に類似した形状関数とガウス＝レジェンドル求積法を用いて、立方体要素上での変分形式の効率的数値積分を実現。
• 座標変換（数学的空間から物理的空間）のヤコビアンを介して、ニューラルネットワーク出力の勾配を連鎖律により導出。
• パrameterをネットワークの追加入力として扱うことで、PDEの直接的なパラメトリック解法を可能とし、高速評価とMORを支援。

実験結果

リサーチクエスチョン

• RQ1 PDEの変分形式を用いることで、従来の残差ベースの微分形式損失関数と比較して、ニューラルネットワークのPDE解法に向けたより効果的で安定した損失関数を定義できるか？
• RQ2 PDEの残差に基づくフィードバックに従うアクティブサンプリング戦略は、最小限の学習点でニューラルネットワークの学習効率と精度をどのように向上させるか？
• RQ3 この手法で学習されたニューラルネットワークは、滑らかで微分可能であり、PDE制約付き最適化や制御に直接利用可能な高精度を達成できるか、その程度はどの程度か？
• RQ4 提案されたフレームワークは、パラメトリックPDEに自然に拡張可能であり、精度を損なわず、高速な低次元モデル化を可能にするか？

主な発見

• 変分形式の損失関数は、低次の導関数を用い、点での評価ではなく領域全体にわたる積分を実施することで、解の精度を顕著に向上させる。
• PDEの残差フィードバックに基づく適応的サンプリングのおかげで、少ない学習点で高い精度を達成。
• VarNetが生成する解は滑らかで微分可能であり、補間処理を必要とせず、最適化や制御タスクへの直接的利用が可能。
• パrameterをネットワークの入力として扱うことで、パラメトリックPDEの効率的モデル順序低減が可能となり、計算コストを著しく削減。
• 対流拡散PDEに対する数値実験では、VarNetが従来の残差ベース手法に比べ、収束速度と解の精度の両面で優れていることが示された。
• 有限要素法に基づく形状関数とガウス＝レジェンドル求積法の使用により、低コストで高精度な数値積分が実現された。