[論文レビュー] The Neural Network Approach to Inverse Problems in Differential Equations

Kailai Xu, Eric Darve|arXiv (Cornell University)|Jan 23, 2019

Numerical methods in inverse problems参考文献 43被引用数 34

ひとこと要約

この論文は、PDEモデルにおける未知関数を自動微分を用いて較正するニューラルネットワーク框組みを提案し、拡散問題の誤差収束解析と関心量の感度分析アプローチを提案する。

ABSTRACT

We proposed a framework for solving inverse problems in differential equations based on neural networks and automatic differentiation. Neural networks are used to approximate hidden fields. We analyze the source of errors in the framework and derive an error estimate for a model diffusion equation problem. Besides, we propose a way for sensitivity analysis, utilizing the automatic differentiation mechanism embedded in the framework. It frees people from the tedious and error-prone process of deriving the gradients. Numerical examples exhibit consistency with the convergence analysis and error saturation is noteworthily predicted. We also demonstrate the unique benefits neural networks offer at the same time: universal approximation ability, regularizing the solution, bypassing the curse of dimensionality and leveraging efficient computing frameworks.

研究の動機と目的

• 観測データを用いてPDEモデルの未知関数を較正するニューラルネットワーク框組みを提案する。
• この框組みに対する誤差推定を導出し、特に拡散モデル問題についてデータの粒度が増加するにつれて収束を示す。
• 計算された物理量の信頼性を評価する感度分析手法を導入する。
• 線形および非線形PDEの較正問題に対して本手法を適用し、数値結果を論じる。

提案手法

• 未知関数 f をニューラーネットワーク fθ で近似し、データサンプルに跨るPDE残差を測る損失を用いてモデル整合性を課す。
• 離散点でニューラルネットワークを評価し、前方解法の既存の数値スキーム（明示/暗黙/半暗黙）と組み合わせることで遅延離散化を用いる。
• 自動微分を取り入れて θ の最適化の勾配を計算し、エンドツーエンド学習を可能にする。
• ネットワーク重みに一様な境界を課し、導関数の境界と正則化効果を得る。
• 観測誤差、離散化から生じる整合性誤差、最適化誤差の誤差分解を提供し、|fθ − f| の総合的な上界を導く。
• ニューラルネットワークの近似理論（1層対多層、コルモゴロフの超置像）を論じ、次元の高い問題に対して深層アーキテクチャを動機づける。

実験結果

リサーチクエスチョン

• RQ1 現実的なノイズと離散化条件の下で、ニューラルネットワークはPDEの未知の係数関数を観測データから正確に回復できるか？
• RQ2 ニューラルネットワークベースの逆問題フレームワークにおける誤差の源と大きさは何で、収束にどのように影響するか？
• RQ3 このフレームワーク内で感度分析をどのように実施して、関心量の予測の信頼性を評価できるか？
• RQ4 ニューラルネットワークは伝統的な逆問題手法を凌ぐ正則化と次元性の取り扱いの利点を提供するか？

主な発見

• この框組みはデータと最適化に関する特定の仮定の下で、拡散モデルに対する誤差境界を O(Δt2 + h2) の形で導く。
• 有界なニューラルネットワーク重みによる正則化は学習済みの fθ を安定化させ、真の f が挙動不良である場合に役立つことがある。
• 感度分析は関心量の『感度領域』を特定でき、これはターゲット汎関数のネットワークパラメータに対する勾配に関連している。
• 数値実験は理論的な誤差推定と整合しており、データ解像度が向上するにつれて誤差飽和点を示す。
• 本手法は普遍近似性、正則化、標準PDEソルバとの適合性を活用し、柔軟なエンドツーエンドの較正ツールを提供する。