[論文レビュー] Conductivity Imaging from Internal Measurements with Mixed Least-Squares Deep Neural Networks

Bangti Jin, Xi‐Yao Li+2 more|arXiv (Cornell University)|Mar 29, 2023

Groundwater flow and contamination studiesEnvironmental Science被引用数 3

ひとこと要約

本稿では、楕円型PDEの全領域内部測定から導電率分布を再構成するための、混合最小二乗法を用いた深層ニューラルネットワーク（DNN）フレームワークを提案する。最小二乗損失にH¹正則化を組み合わせることで、導電率とフラックスを同時にDNNで近似し、データノイズ、ネットワークの深さ・幅、サンプリング解像度に明示的に依存する厳密な誤差境界を伴う安定でノイズ耐性の高い再構成を実現する。

ABSTRACT

In this work we develop a novel approach using deep neural networks to reconstruct the conductivity distribution in elliptic problems from one measurement of the solution over the whole domain. The approach is based on a mixed reformulation of the governing equation and utilizes the standard least-squares objective, with deep neural networks as ansatz functions to approximate the conductivity and flux simultaneously. We provide a thorough analysis of the deep neural network approximations of the conductivity for both continuous and empirical losses, including rigorous error estimates that are explicit in terms of the noise level, various penalty parameters and neural network architectural parameters (depth, width and parameter bound). We also provide multiple numerical experiments in two- and multi-dimensions to illustrate distinct features of the approach, e.g., excellent stability with respect to data noise and capability of solving high-dimensional problems.

研究の動機と目的

• 楕円型PDEにおける解の1つの全領域内部測定から、導電率分布を再構成する安定でデータ駆動型の手法を開発すること。
• 深層ニューラルネットワークの表現力を利用することで、高次元またはノイズが多い状況下における古典的数値手法の限界を克服すること。
• データノイズレベル、ネットワークアーキテクチャ（深さ、幅、パラメータの上限）、サンプリング密度に明示的に依存する導電率再構成の一般化誤差境界を確立すること。
• 混合最小二乗法の定式化と近似理論・統計的学習理論を組み合わせることで、DNNに基づく逆問題に理論的基盤を提供すること。

提案手法

• PDEの変分的定式化を用いて、導電率 $ q $ とフラックス $ \boldsymbol{\rho} = q\nabla u $ を含む混合最小二乗最小化問題として導電率イメージング問題を定式化する。
• DNNをアーベスツ関数として用い、両方の $ q $ および $ \boldsymbol{\rho} $ を高次元的かつ非線形的に表現可能な解多様体の表現を可能にする。
• PDEおよび境界条件の違反をペナルティとする最小二乗損失関数を定義し、$ q $ に対して $ H^1(\Omega) $ 型のペナルティを追加して正則性を強制する。
• ドメイン $ \Omega $ 内のサンプリング点および境界 $ \partial\Omega $ 上の点で、積分をモンテカルロ則による数値積分で近似し、経験的損失を最小化する。
• ラデマッハ複雑度および被覆数の議論を用いて、$ q $、$ \boldsymbol{\rho} $ および関連量のDNN近似の一般化誤差境界を導出する。
• データノイズ $ \delta $、ネットワーク深さ $ L $、幅 $ W $、パラメータの上限 $ R $、サンプリング回数 $ n $ に明示的に依存する理論的誤差推定を確立する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、楕円型PDEにおける解の1つの全領域内部測定から、導電率分布を効果的に再構成できるか？
• RQ2 DNNベースの再構成における一般化誤差は、データノイズ、ネットワークアーキテクチャ（深さ、幅、パラメータの上限）、およびサンプリング解像度に関してどのようにスケーリングされるか？
• RQ3 ノイズのあるデータおよび有限なサンプリング下で、提案された混合最小二乗法DNNフレームワークの理論的安定性および収束挙動はいかなるものか？
• RQ4 統計的学習理論および近似理論を用いて導出された理論的誤差境界は、数値実験における実効的性能とどのように一致するか？

主な発見

• 提案手法は、2次元および多次元問題において、顕著なデータノイズ下でも安定した導電率再構成を達成し、数値実験で耐障害性を示した。
• 導電率近似の理論的誤差境界が明示的に導出され、ノイズレベル $ \delta $、ネットワーク深さ $ L $、幅 $ W $、パラメータの上限 $ R $、サンプリング回数 $ n $ に多項式的に依存し、ネットワークサイズには対数的依存を示す。
• DNN関数クラスのラデマッハ複雑度は、$ \mathcal{O}(n^{-1/2} R_{\sigma}^2 N_{\kappa}^2 (N_{\kappa} + N_{\theta})^{1/2} (\log R_{\sigma} + \log N_{\kappa} + \log n)^{1/2}) $ で有界であり、ここで $ N_{\kappa} $ および $ N_{\theta} $ はフラックスおよび導電率ネットワークのパラメータ数を表す。
• フラックスおよび導電率近似の誤差境界は $ n^{-1/2} $ に比例してスケーリングされ、サンプリング数の増加に伴い収束を示し、ネットワークの深さおよび幅が対数的および多項式的項を通じて影響を及ぼす。
• DNNの表現力と $ H^1 $ 正則化を伴う混合最小二乗法の安定性のおかげで、高次元問題においても高い精度を達成した。
• 実験的結果は、ノイズ耐性および高次元へのスケーラビリティの面で、標準的手法を上回ることを確認した。誤差はサンプリング密度の増加に伴い減少した。