[論文レビュー] BiLO: Bilevel Local Operator Learning for PDE Inverse Problems

Zirui Zhang, Miles, Christopher E.+2 more|arXiv (Cornell University)|Apr 27, 2024

Numerical methods in inverse problems被引用数 4

ひとこと要約

BiLOは、PDE逆問題における二段階最適化フレームワークを提案する。上位段階ではPDEパラメータに関してデータ損失を最小化し、下位段階では局所的近似を実現するための残差勾配損失を用いたニューラルネットワークの学習を行う。これにより、強いPDE制約の強制、疎でノイジーなデータに対するロバスト性、PINNsのようなソフト制約法に内在する損失バランスのトレードオフの解消が可能となる。

ABSTRACT

We propose a new neural network based method for solving inverse problems for partial differential equations (PDEs) by formulating the PDE inverse problem as a bilevel optimization problem. At the upper level, we minimize the data loss with respect to the PDE parameters. At the lower level, we train a neural network to locally approximate the PDE solution operator in the neighborhood of a given set of PDE parameters, which enables an accurate approximation of the descent direction for the upper level optimization problem. The lower level loss function includes the L2 norms of both the residual and its derivative with respect to the PDE parameters. We apply gradient descent simultaneously on both the upper and lower level optimization problems, leading to an effective and fast algorithm. The method, which we refer to as BiLO (Bilevel Local Operator learning), is also able to efficiently infer unknown functions in the PDEs through the introduction of an auxiliary variable. We provide a theoretical analysis that justifies our approach. Through extensive experiments over multiple PDE systems, we demonstrate that our method enforces strong PDE constraints, is robust to sparse and noisy data, and eliminates the need to balance the residual and the data loss, which is inherent to the soft PDE constraints in many existing methods.

研究の動機と目的

• 疎またはノイジーなデータ下でのPDE逆問題におけるデータ適合性とPDE制約の強制のバランスを取る課題に対処する。
• PINNsのようなソフトPDE制約の限界を克服する。PINNsでは、データ損失と残差損失のバランスを取るために慎重なハイパーパrameterチューニングが必要となる。
• 大規模な合成データセットを事前学習に用いずに、局所的演算子学習を通じてハードPDE制約を強制する手法を開発する。
• 同時勾配降下法を用いた二段階最適化フレームワークにより、未知のPDEパラメータおよび関数の効率的推定を可能にする。
• 補助変数を導入してPDEに含まれる未知関数（例：変化する拡散係数）を推定する。これにより、高次元の局所的演算子学習を回避できる。

提案手法

• PDE逆問題を二段階最適化として定式化する。上位段階ではPDEパラメータに関するデータ損失を最小化し、下位段階では現在のパラメータ周辺での解演算子の局所的近似を実現するニューラルネットワークの学習を行う。
• 下位段階に「残差勾配」損失を導入し、PDE残差をPDEパラメータで微分したもののL2ノルムとして定義する。これにより、PDE解写像に対する局所的忠実度が保証される。
• 両段階で同時に勾配降下法を適用し、反復的な内側ループソルバを必要とせず、効率的かつ安定した最適化を実現する。
• 単純なニューラルネットワークアーキテクチャを用いて局所的解演算子を表現し、現在のパラメータ近傍でのみ学習させる。これにより、グローバルな演算子学習を回避できる。
• PDE内の未知関数（例：変化する拡散係数）を推定するために補助変数を導入し、高次元の局所的演算子学習を回避する。
• 自動微分を統合し、PDEの残差とその勾配を計算することで、PDEおよびデータ損失をエンドツーエンドのバックプロパゲーションが可能となる。

実験結果

リサーチクエスチョン

• RQ1 局所的演算子学習を組み込んだ二段階最適化フレームワークは、PINNsのようなソフト制約法と比較して、逆問題におけるPDE制約の強制を改善できるか？
• RQ2 下位段階における残差勾配損失は、与えられたPDEパラメータ周辺での解演算子の正確な局所的近似を有効に可能にするか？
• RQ3 提案手法は、損失バランスの必要がない状態で、疎でノイジーなデータ下でもパラメータ推定をロバストに行えるか？
• RQ4 PDE内に含まれる未知関数（例：変化する係数）の推定において、標準的なPINNsと比較して本手法はどのように性能を発揮するか？
• RQ5 両段階で同時に勾配降下法を適用することで、従来のネスト型最適化と比較して、より高速かつ安定した収束が達成できるか？

主な発見

• BiLOはPINNsより顕著に低いパラメータ誤差を達成した。ノイズ付きFisher-KPP問題において、BiLOのパラメータ誤差は4.41e-3（標準偏差1.44e-3）であり、PINN(1e1)の4.93e-3（標準偏差2.10e-3）を下回り、解誤差とデータ損失も低かった。
• 変化する拡散係数を有するポアソン方程式において、BiLOはD(x)のL∞誤差を5.97e-2（標準偏差2.20e-2）に抑え、PINN(1e1)の8.73e-2（標準偏差7.68e-3）を上回り、真値の不連続点（kink）をより正確に捉えた。
• BiLOはデータ損失を1.06e-4（標準偏差1.43e-5）に維持し、ノイズ分散（1e-4）に近く、過学習や未学習の兆候がなかった。一方、PINNsではw_datの調整が過学習や未学習を回避するために不可欠であった。
• 残差勾配損失により、正確な局所的解の近似が実現された。可視化結果から、ニューラルネットワークの出力は摂動を加えた拡散係数に対して、有限差分法（FDM）の解とよく一致していた。
• BiLOは、PINNsに内在するデータ損失と残差損失のバランス調整の必要性を排除した。これは、局所的演算子学習によるハードPDE制約の強制によって実現された。
• 本手法はノイズにロバストであり、収束性が向上した。BiLOでは、不連続性をPINNsよりも正確に捉えた拡散係数が推定されたのに対し、PINNsは振動的または過剰に滑らかになりすぎた結果を示した。