[論文レビュー] Neural network augmented inverse problems for PDEs

Jens Berg, Kaj Nyström|arXiv (Cornell University)|Dec 27, 2017

Numerical methods in inverse problems参考文献 18被引用数 32

ひとこと要約

本稿では、偏微分方程式（PDE）における逆問題を解くためのニューラルネットワーク拡張手法を提案する。ここでは、未知係数の滑らかでグローバルな事前分布として、順方向型ニューラルネットワークを用い、従来のティホノフ正則化に代わるものとして機能させる。この手法は、1D〜3Dのポアソン方程式において、ノイズがかかる、不完全な、不規則にサンプリングされたデータに対しても、明示的な正則化を用いずに正確な再構成を達成し、強力な性能を示す。特に、不連続またはマルチスケールな係数を有する困難な状況では、古典的FEMを上回る性能を発揮する。

ABSTRACT

In this paper we show how to augment classical methods for inverse problems with artificial neural networks. The neural network acts as a prior for the coefficient to be estimated from noisy data. Neural networks are global, smooth function approximators and as such they do not require explicit regularization of the error functional to recover smooth solutions and coefficients. We give detailed examples using the Poisson equation in 1, 2, and 3 space dimensions and show that the neural network augmentation is robust with respect to noisy and incomplete data, mesh, and geometry.

研究の動機と目的

• PDEにおける逆係数問題の不適切な定式化を扱う。特に、ノイズがかかるまたは不完全なデータ下での問題に焦点を当てる。
• 従来のティホノフ正則化を、滑らかさを内蔵的に促進するニューラルネットワークベースの事前分布に置き換える。
• メッシュの種別、幾何形状、データの疎らかさの変動にわたる係数再構成の頑健性を向上させる。
• 最適な正則化条件下での古典的有限要素法（FEM）と比較して、ニューラルネットワーク事前分布の性能を評価する。
• 低容量のニューラルネットワークの暗黙の正則化特性が、不連続またはマルチスケールな係数の再構成に果たす役割を調査する。

提案手法

• 隠れ層にシグモイド活性化関数を用い、出力層に線形関数を用いた順方向型ニューラルネットワークを用い、未知係数 $ q(x) $ をパラメータ化することで、グローバルかつ滑らかな関数近似を可能にする。
• FEniCSを用いて前向きPDEを解き、dolfin-adjointを用いて自動的にアドジョイントに基づく勾配計算を行うPDE制約最適化フレームワークに、ニューラルネットワーク事前分布を統合する。
• 標準的な最適化アルゴリズム（例：BFGS）を用い、データ不一致誤差関数 functional $ J(u,q) = \frac{1}{2}\|u - \hat{u}\|_{L^2}^2 $ を最小化する。勾配はアドジョイント法により計算される。
• 明示的なティホノフ型ペナルティを回避するため、ニューラルネットワークのインダクティブバイアスに依存して解を暗黙的に正則化する。
• 1D、2D、3Dのドメインにおけるディリクレ境界条件を満たすポアソン方程式 $ -\nabla \cdot (q(x)\nabla u) = f $ にこの手法を適用する。
• ノイズがかかる測定値、不完全なデータ、メッシュおよび幾何形状の変化にわたる頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、明示的なティホノフ型正則化なしに、逆PDE問題における効果的で暗黙の正則化子として機能できるか？
• RQ2 同一条件下で、古典的FEMに最適なティホノフ正則化を適用した場合と比較して、ニューラルネットワーク事前分布はどのように性能を発揮するか？
• RQ3 この手法は、異なる空間次元において、ノイズがかかる、不完全な、または疎な測定データに対してどれほど頑健か？
• RQ4 ニューラルネットワークは不連続またはマルチスケールな係数を効果的に再構成できるか？また、ネットワーク容量はその性能にどのような役割を果たすか？
• RQ5 ニューラルネットワーク事前分布のグローバルかつ滑らかな性質は、測定値が境界付近でのみ利用可能な場合でも、正確な係数推定を可能にするか？

主な発見

• ニューラルネットワーク手法は、明示的な正則化を用いずに、ネットワークのインダクティブバイアスに起因する滑らかさを強制することで、正確な係数再構成を達成する。
• 5%のノイズがかかる1Dポアソン問題において、最適なティホノフ正則化を適用したFEMは、係数誤差 ($||q - \hat{q}||$) においてニューラルネットワークを上回る。FEMは $2.06 \times 10^{-4}$、ネットワークは線形係数 $q = x+1$ に対して $5.03 \times 10^{-3}$ を達成した。
• 係数回復の誤差がやや高いものの、ニューラルネットワーク手法は特に高次元および複雑な幾何形状において、ノイズおよびデータの疎らかさに対してより頑健である。
• 本手法は、メッシュの種別や境界データの設定が異なる1D、2D、3Dドメインにおいても、係数を再構成できることを示し、幾何形状にわたる一般化能力を示した。
• 不連続またはマルチスケールな係数に対しては、低容量のニューラルネットワークは滑らかな再構成を提供するが、より高い精度を得るためには、明示的な正則化または高度なネットワーク設計が必要である。
• ニューラルネットワーク手法はFEM（19秒）よりも反復回数が多く、処理時間が長くなる（例：$q = 1 + 0.5\sin(2\pi x)$ では190秒）が、境界上でのみ測定値が利用可能な場合でもグローバルな再構成が可能である。