[論文レビュー] Learned imaging with constraints and uncertainty quantification

Felix J. Herrmann, Ali Siahkoohi+1 more|arXiv (Cornell University)|Sep 13, 2019

Seismic Imaging and Inversion Techniques参考文献 11被引用数 13

ひとこと要約

本論文は、手作業で設計された物理的制約と深層畳み込みニューラルネットワーク（CNN）を弱い事前分布として統合することで、地震画像再構成の性能を向上させる、新しい学習可能な画像化フレームワークを提案する。期待値最大化フレームワーク内に問題を定式化し、リアルタイムでのCNN重み適応を伴う確率的ブレグマン反復を用いることで、事後分布からのサンプリングによる不確実性の定量化を可能にし、高精度で物理的に妥当な画像を、ばらつきを定量的に評価しながら得られる。

ABSTRACT

We outline new approaches to incorporate ideas from deep learning into wave-based least-squares imaging. The aim, and main contribution of this work, is the combination of handcrafted constraints with deep convolutional neural networks, as a way to harness their remarkable ease of generating natural images. The mathematical basis underlying our method is the expectation-maximization framework, where data are divided in batches and coupled to additional "latent" unknowns. These unknowns are pairs of elements from the original unknown space (but now coupled to a specific data batch) and network inputs. In this setting, the neural network controls the similarity between these additional parameters, acting as a "center" variable. The resulting problem amounts to a maximum-likelihood estimation of the network parameters when the augmented data model is marginalized over the latent variables.

研究の動機と目的

• 従来の最小二乗法による地震画像再構成の限界、すなわち病的な条件、ノイズ、線形化誤差を解消すること。
• 複雑な自然画像構造を捉える能力に欠ける手作業による事前分布の欠点を克服し、物理的妥当性を維持すること。
• ペア学習データが不要な不確実性の定量化を可能にすること。
• スケーラブルで確率的な最適化フレームワークを構築し、制約付き最適化設定内に深層事前分布を統合すること。

提案手法

• 物理的妥当性を保証するための凸集合 𝒞 を用いた制約付き最適化問題として画像再構成問題を定式化する。
• 重み w でパラメータ化されたCNNを用いて弱い深層事前分布を導入し、x ≈ g(z, w) かつ z ∼ N(0,1) として、モデルをネットワークの出力範囲内に埋め込む。
• データ不適合と罰則項 ∥x − g(z, w)∥² を組み合わせたハイブリッド目的関数を用い、ハード制約と深層事前分布正則化のバランスを取る。
• 動的ステップサイズを用いた確率的ブレグマン反復を採用し、各ステップで双対変数を更新するとともに、𝒞 への射影を実行することで物理的妥当性を維持する。
• 潜在変数 z_i を各バッチごとにサンプリングする期待値最大化に類似したフレームワークを採用し、再構成誤差に基づく勾配降下法によりネットワーク重み w を更新する。
• 3200個のランダムな z 実現値に対して g(z, w) をサンプリングすることで、ポイントワイズ標準偏差マップを計算し、不確実性の定量化を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みネットワークは、手作業による事前分布を上回る画像品質を実現するため、制約付き最小二乗法画像再構成に効果的に統合可能か？
• RQ2 ペア学習データが入手不可な状況下でも、再構成画像の不確実性をどのように定量化できるか？
• RQ3 逆問題処理中に生成ネットワークのリアルタイム学習を実現しつつ、物理的妥当性を維持できるか？
• RQ4 ハード制約と弱い深層事前分布の組み合わせにより、高ノイズおよび線形化誤差の下でも、よりロバストで正確な再構成が達成可能か？

主な発見

• 3200個の生成サンプルの平均から、標準的なブレグマン反復よりもアーチファクトが少ない画像が得られることを示した。
• 3200個のランダムな z 実現値からのポイントワイズ標準偏差マップは、強い線形化誤差およびノイズ領域と整合する高不確実性領域を明らかにした。
• 訓練済み生成モデルからの平均画像は、個々の実現値と比較してシャープネスが向上し、アーチファクトが低減しており、不確実性の有効な平均化が行われていることが示された。
• サンプリングにより推定されたモデルの事後分布は、逆問題処理後に分散が低下しており、ベイズ的事後分布の挙動と整合的であった。
• ハード制約 𝒞 の存在により、初期学習段階でさえも物理的妥当性が厳密に維持された。
• 逆問題処理の副産物として不確実性の定量化が可能であり、別途事後分布サンプリングや事前学習が不要であった。