[論文レビュー] Deep Neural Network Approach to Forward-Inverse Problems

Hyeontae Jo, Hwijae Son+2 more|arXiv (Cornell University)|Jul 27, 2019

Model Reduction and Neural Networks参考文献 24被引用数 9

ひとこと要約

本稿では、微分方程式の解の近似（前方問題）とモデルパラメータの同定（逆問題）を同時に実行する統合型ディープニューラルネットワーク（DNN）アーキテクチャを提案する。物理に基づいた損失関数、自動微分、勾配最適化を統合することで、線形PDEに対して解析解への収束を達成し、1次元・2次元の輸送方程式、熱方程式、波動方程式、Lotka-Volterra系においても、CFL条件を違反するような不安定な数値的条件下でも頑健な性能を示す。

ABSTRACT

In this paper, we construct approximated solutions of Differential Equations (DEs) using the Deep Neural Network (DNN). Furthermore, we present an architecture that includes the process of finding model parameters through experimental data, the inverse problem. That is, we provide a unified framework of DNN architecture that approximates an analytic solution and its model parameters simultaneously. The architecture consists of a feed forward DNN with non-linear activation functions depending on DEs, automatic differentiation, reduction of order, and gradient based optimization method. We also prove theoretically that the proposed DNN solution converges to an analytic solution in a suitable function space for fundamental DEs. Finally, we perform numerical experiments to validate the robustness of our simplistic DNN architecture for 1D transport equation, 2D heat equation, 2D wave equation, and the Lotka-Volterra system.

研究の動機と目的

• 微分方程式の前方問題と逆問題を同時に解く、簡素化された統合型ディープラーニングフレームワークの開発。
• 線形PDEに対して、適切な関数空間内でのDNN解が解析解に収束することを理論的に分析すること。
• CFL条件を違反するような古典的安定性条件を満たさないケースを含む、ベンチマークPDEおよびODEに対する手法の頑健性の検証。
• 数値解析分野の専門的知識への依存を低減し、標準的なディープラーニングライブラリでの実装を可能にすること。
• 現在の理論的制限を考慮しても、非線形系へのDNNの可能性の探求。

提案手法

• 支配的微分方程式に適合する活性化関数を備えたフィードフォワードDNNをアーキテクチャとして採用。
• ネットワーク出力の微分を自動微分で計算し、物理に基づいた損失関数の構築を可能にする。
• 損失関数はPDEの残差項、境界・初期条件、および逆問題におけるデータ適合項を統合する。
• 解の学習と同時に、アドベクション速度や拡散係数などのモデルパラメータを勾配最適化により学習。
• 訓練の安定性を向上させるために、次数低減技術を適用。
• エネルギー推定と、導関数に対する既存の普遍近似定理の拡張を用いて理論的収束性を証明。

実験結果

リサーチクエスチョン

• RQ1 同一のDNNアーキテクチャが、微分方程式の前方問題と逆問題を統合的に効果的に解くことができるか？
• RQ2 適切な条件下で、線形PDEのDNN解が真の解析解に収束するか？
• RQ3 CFL条件を違反するような不安定な数値スキームを有する方程式に適用した場合、この手法はどの程度頑健か？
• RQ4 理論的収束保証が欠如しているにもかかわらず、Lotka-Volterra方程式のような非線形系に対してもDNNアーキテクチャは対応可能か？
• RQ5 この手法は、分野特有の数値解析的知識の必要性をどの程度低減するか？

主な発見

• エネルギー推定と普遍近似理論を用いた解析により、線形PDEのDNN解が$L_∞$ノルムにおいて解析解に収束することが証明された。
• CFL条件を違反する状況下でも、1次元輸送方程式、2次元熱方程式、2次元波動方程式、Lotka-Volterra方程式の解を高い精度で近似できた。
• 2次元熱方程式では、ヴォン・ノイマン安定性条件に違反しているにもかかわらず、正確な結果を生成した。これは、古典的数値制約に対して強い耐性を示していることを示している。
• Lotka-Volterra系では、正弦関数（$\sin$）活性化関数の使用が、解の周期的性質を効果的に捉え、近似精度を向上させた。
• 全テスト問題において、低損失値（例：$10^{-4}$）を達成し、多様な方程式に対して一貫した性能を示した。
• パラメータの不確実性に対しても頑健であり、限られたデータでも良好な性能を示した。これは、データ駆動型PDEに対して優れた一般化性能を有することを示唆している。