[論文レビュー] PyDEns: a Python Framework for Solving Differential Equations with Neural Networks

Alexander Koryagin, Roman Khudorozhkov+1 more|arXiv (Cornell University)|Sep 25, 2019

Model Reduction and Neural Networks参考文献 8被引用数 30

ひとこと要約

PyDEnsは、柔軟なアーキテクチャ選択、カスタマイズ可能なサンプリング方式、およびディープラーニングワークフローへのシームレスな統合を可能にするPythonフレームワークであり、偏微分方程式（PDE）をニューラルネットワークを用いて解くことを可能にする。Deep Galerkin法を拡張し、自動微分を用いた損失計算の自動化と、PDE、初期・境界条件、学習設定を定義する高水準APIを提供することで、物理情報付きニューラルネットワークにおける実験の障壁を著しく低減する。

ABSTRACT

Recently, a lot of papers proposed to use neural networks to approximately solve partial differential equations (PDEs). Yet, there has been a lack of flexible framework for convenient experimentation. In an attempt to fill the gap, we introduce a PyDEns-module open-sourced on GitHub. Coupled with capabilities of BatchFlow, open-source framework for convenient and reproducible deep learning, PyDEns-module allows to 1) solve partial differential equations from a large family, including heat equation and wave equation 2) easily search for the best neural-network architecture among the zoo, that includes ResNet and DenseNet 3) fully control the process of model-training by testing different point-sampling schemes. With that in mind, our main contribution goes as follows: implementation of a ready-to-use and open-source numerical solver of PDEs of a novel format, based on neural networks.

研究の動機と目的

• ニューラルネットワークベースのPDEソルバーの実験に向けた柔軟で使いやすいフレームワークの不足に対処すること。
• 研究者が最小限のコードで、時間依存型や高次元のPDE問題を簡単に定義できるようにすること。
• ResNet や DenseNet といった事前定義済みモデルからカスタムアーキテクチャまで、ニューラルネットワークアーキテクチャ選択に対する完全な制御を提供すること。
• ドメイン、境界、初期条件領域における点のサンプリング戦略をカスタマイズ可能にすることで、学習効率と精度を向上させること。
• BatchFlowディープラーニングフレームワークとの統合を活用し、物理情報付きニューラルネットワークの再現可能でスケーラブルな学習を促進すること。

提案手法

• フレームワークは、PDEの解をニューラルネットワークとして定式化し、残差誤差、境界条件、初期条件を組み合わせた損失関数を最小化するDeep Galerkin法を実装する。
• 高階導関数を扱うために、勾配の手動導出を回避するため、自動微分を用いて損失成分を計算する。
• PDEの定義は、方程式の形、右辺、初期・境界条件を指定する辞書形式で行い、モジュラーなアーキテクチャをサポートする。
• ニューラルネットワークアーキテクチャは、全結合層、残差接続、活性化関数をサポートする人間が読みやすいレイアウト言語で定義される。
• 点サンプリングは、サンプリング代数を用いて管理され、一様分布、正規分布、指数分布などの確率分布の混合や積み重ねを、ドメイン、境界、初期条件領域に適用可能である。
• ミニバッチによる確率的勾配降下法を用いて学習を実行し、バッチ内のサンプル点を用いて損失を推定することで、真の積分損失を近似する。

実験結果

リサーチクエスチョン

• RQ1 柔軟でオープンソースのフレームワークは、深層ニューラルネットワークを用いたPDEの解法プロセスをどのように簡素化できるか？
• RQ2 カスタマイズ可能なサンプリング方式は、物理情報付きニューラルネットワークの収束性と精度をどの程度向上できるか？
• RQ3 自動微分とモジュラーなアーキテクチャ設計を備えた高水準APIは、PDEに基づく機械学習分野の研究者による実装の障壁をどの程度低減できるか？
• RQ4 異なるニューラルネットワークアーキテクチャ（例：ResNet、DenseNet）とサンプリング戦略は、2階PDEの解の品質にどのような影響を与えるか？
• RQ5 フレームワークは、非自明な初期条件・境界条件を有する複雑なPDEを、学習の安定性とスケーラビリティを維持したまま処理できるか？

主な発見

• PyDEnsは、高水準な辞書ベースの問題定義により、熱方程式や波動方程式を含む広範なPDEクラスを、最小限のコードで解ける。
• フレームワークは、標準的なアーキテクチャ（例：ResNet、DenseNet）に加え、記号的レイアウト言語で定義された残差接続および全結合層を含むカスタムニューラルネットワークレイアウトもサポートする。
• 学習性能はバッチサイズに強く依存しており、小さなバッチでは損失の振動が顕著になり、大きなバッチでは領域固有のサンプリングを組み合わせない限り収束が悪くなる。
• 境界付近や初期条件領域に特化したサンプリング戦略を用いることで、特にオイルガス貯留層モデリングなどの応用において、特定領域のモデル精度が向上する。
• ソース項と非自明な初期条件を有する非線形PDEを、4層の全結合ネットワークに残差接続を組み合わせて解くことに成功し、複雑な問題に対するロバストネスを示した。
• BatchFlowとの統合により、再現可能でスケーラブルな学習が可能となり、マルチステージのサンプリング戦略を含む高度な学習ワークフローもサポートする。