[論文レビュー] The efficacy and generalizability of conditional GANs for posterior inference in physics-based inverse problems

Deep Ray, Harisankar Ramaswamy+2 more|arXiv (Cornell University)|Feb 15, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、偏微分方程式（PDE）に従う物理ベースのベイズ逆問題における効率的な事後分布サンプリングを可能にする、U-Net生成器と条件付きインスタンス正規化（CIN）を備えた条件付きワサーライン生成対抗ネットワーク（cWGAN）を提案する。複数スケールにわたり潜在変数を注入することで、潜在次元を測定サイズから分離し、マルチスケールの確率的性質を実現するとともに、さまざまなPDE逆問題（熱伝導および弾性イメージングを含む）において、正確な不確実性評価と分布外（OOD）測定への一般化を達成する。

ABSTRACT

In this work, we train conditional Wasserstein generative adversarial networks to effectively sample from the posterior of physics-based Bayesian inference problems. The generator is constructed using a U-Net architecture, with the latent information injected using conditional instance normalization. The former facilitates a multiscale inverse map, while the latter enables the decoupling of the latent space dimension from the dimension of the measurement, and introduces stochasticity at all scales of the U-Net. We solve PDE-based inverse problems to demonstrate the performance of our approach in quantifying the uncertainty in the inferred field. Further, we show the generator can learn inverse maps which are local in nature, which in turn promotes generalizability when testing with out-of-distribution samples.

研究の動機と目的

• 従来のMCMCサンプリングが遅いため、PDEに基づく逆問題におけるベイズ推論の計算的ボトル neck を解消するため、高速な深層生成モデルに置き換える。
• 決定的正則化手法の限界を克服するため、完全な事後分布サンプリングと不確実性評価を可能にする。
• 多様な物理ベースの逆問題に適用可能なスケーラブルで一般化可能な深層学習フレームワークを構築する。
• 条件付きインスタンス正規化（CIN）により、潜在空間の次元を測定値や場の次元とは独立して柔軟に設定可能にする。
• 特に実験的設定において、分布外（OOD）測定にまで対応できる、訓練済みモデルの頑健性と一般化性能を示す。

提案手法

• 合成事前分布を用いた前向きPDE計算により、推定場と測定値の同時分布から得られるペairedデータを用いて、条件付きワサーライン生成対抗ネットワーク（cWGAN）を訓練する。
• 測定値からのマルチスケール特徴の抽出と推定場の再構築を可能にする、残差ブロックベースのU-Netアーキテクチャを生成器として採用する。
• U-Netの複数層に条件付きインスタンス正規化（CIN）を用いて潜在ノイズを注入することで、マルチスケールの確率的性質を実現し、潜在次元を入力／出力次元から分離する。
• 条件付きミニバッチクリティックの代わりに簡素化されたクリティックネットワークを採用し、WGANの理論的収束保証を活用して事後統計の安定性を確保する。
• 生成された事後分布が真の事後分布に弱収束するように保証するため、Wasserstein adversarial lossを用いてcWGANをエンドツーエンドで訓練する。
• 新しい測定値を条件として生成器に与えることで事後分布サンプルを生成し、MCMCを回避することで高速かつスケーラブルな推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 CINを用いた潜在変数注入により、cWGANは多様なPDEに基づく逆問題において、事後分布を効果的に学習できるか？
• RQ2 チャネル単位の潜在変数スタックを用いた標準的なcGANと比較して、CINの導入が一般化性能と不確実性評価にどのように寄与するか？
• RQ3 合成データで学習したcWGANが、弾性イメージングにおける実験的測定データに対してもどの程度一般化できるか？
• RQ4 学習された逆写像が局所的性質を示すことで、分布外（OOD）測定への一般化が可能になるか？
• RQ5 cWGANが提供する信頼性のある不確実性推定（例：標準偏差）は、物理的場における真の再構築誤差と相関を示すか？

主な発見

• CINを備えたcWGANは、熱伝導（初期条件および熱伝導率）および弾性イメージングの3つの異なるPDE逆問題において、事後分布サンプルの生成に成功した。
• 実験的超音波データを用いた評価では、内包物の中心までの垂直距離の推定誤差が7.7%、直径推定誤差が3%にとどまり、決定的手法と同等の性能を示した。
• 内包物のせん断弾性率は13.3 kPaと推定され、測定値10.7 kPaと比較して24.3%の誤差を示したが、決定的アプローチの誤差範囲内であった。
• 不確実性（標準偏差）は内包物の境界付近で最も高くなり、再構築の曖昧さが高くなる領域を正しく反映していた。
• RRQRによる選択の結果、3つの最も重要なサンプルの間で変動が最小限に抑えられており、一貫性のある事後分布サンプリングと安定した推論を示した。
• 訓練済みcWGANはOOD測定に対しても良好な一般化性能を示しており、理論的および実証的証拠により、学習された逆写像の局所的性質が一般化を可能にする主因であることが裏付けられた。