[論文レビュー] Bayesian Inference with Generative Adversarial Network Priors

Dhruv Patel, Assad A. Oberai|arXiv (Cornell University)|Jul 22, 2019

Model Reduction and Neural Networks参考文献 47被引用数 14

ひとこと要約

本稿では、ベイズ推論における複雑で高次元の事前分布をモデル化するために生成対抗ネットワーク（GAN）を提案し、逆問題における不確実性の定量化を正確に行うことを可能にする。サンプル分野を用いてGANを訓練することで、生成器が低次元の潜在空間を高次元の分野実現に写像する。その後、この生成器で得られた事前分布を用いて、ノイズの多い観測値から初期温度分布のような分野を推定するベイズ更新を実行し、MAPとMCMCサンプリングにより正確な事後分布推定を達成する。

ABSTRACT

Bayesian inference is used extensively to infer and to quantify the uncertainty in a field of interest from a measurement of a related field when the two are linked by a physical model. Despite its many applications, Bayesian inference faces challenges when inferring fields that have discrete representations of large dimension, and/or have prior distributions that are difficult to represent mathematically. In this manuscript we consider the use of Generative Adversarial Networks (GANs) in addressing these challenges. A GAN is a type of deep neural network equipped with the ability to learn the distribution implied by multiple samples of a given field. Once trained on these samples, the generator component of a GAN maps the iid components of a low-dimensional latent vector to an approximation of the distribution of the field of interest. In this work we demonstrate how this approximate distribution may be used as a prior in a Bayesian update, and how it addresses the challenges associated with characterizing complex prior distributions and the large dimension of the inferred field. We demonstrate the efficacy of this approach by applying it to the problem of inferring and quantifying uncertainty in the initial temperature field in a heat conduction problem from a noisy measurement of the temperature at later time.

研究の動機と目的

• 解析的形が不適切な場合に、高次元分野のための情報的で複雑な事前分布を定義する課題に対処すること。
• 推定対象の分野の次元が非常に大きい場合に、ベイズ推論における効率的な事後分布サンプリングを可能にすること。
• GANで訓練された事前分布が、鋭いエッジやパッチのような複雑な空間的構造を、逆問題において効果的に捉えることができるかを示すこと。
• GAN事前分布を用いた、モンテカルロ法およびMCMCを含む実用的な計算戦略を、事後分布推定のために開発すること。
• 熱伝導の逆問題に対して本手法を検証し、初期温度分野の正確な回復と不確実性の定量化を示すこと。

提案手法

• サンプル分野のセットに対してGANを訓練し、未知分野の背後にある分布を学習する。生成器を用いて低次元の潜在ベクトルを高次元の分野実現に写像する。
• 訓練済みのGAN生成器を、従来の解析的事前分布に代わる非パラメトリック事前分布としてベイズ推論に用いる。
• ベイズの定理を用いて事後分布を定式化し、観測値のノイズに基づく尤度とGANで生成された事前分布を組み合わせる。
• 潜在空間における勾配ベース最適化を用いて、事後密度を最大化する潜在ベクトルを求める。これにより、最大事後確率（MAP）解を得る。
• 潜在空間におけるメトロポリス・ヘイスティングス法に基づくMCMCを用いて、事後分布からサンプリングする。潜在ベクトルの提案を行い、生成器を介して分野サンプルに変換する。
• MCMCサンプルを用いて事後モーメント（例：平均と分散）を近似し、推定された分野における不確実性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 高次元の逆問題におけるベイズ推論において、GANを非パラメトリック事前分布として効果的に使用できるか？
• RQ2 GAN事前分布は、長方形のパッチや鋭いエッジのような複雑な空間的構造を、推定された分野においてどれほど正確に回復できるか？
• RQ3 真の事前分布が既知である場合、GAN事前分布を用いて推定された事後分布は真の事後分布に収束するか？
• RQ4 潜在空間におけるMCMCのような効率的なサンプリング戦略は、高次元分野における信頼性の高い不確実性の定量化を可能にするか？
• RQ5 MAP推定と不確実性の定量化の観点から、GAN事前分布はH¹やL²といった標準的な事前分布と比較してどの程度優れているか？

主な発見

• GAN事前分布は、真の初期温度分野の空間的構造、特に鋭いエッジや長方形のパッチを効果的に捉えており、従来の滑らかな事前分布では再現できなかった。
• GAN事前分布を用いたMAP推定は、真の初期分野と非常に近く、空間的忠実性と定量的精度の両面でH¹およびL²事前分布を上回った。
• 潜在空間におけるMCMCサンプリングにより得られた平均推定値は、真の分野と整合的であったが、前方作用素の平滑化の影響でエッジやコーナーでぼやけた特徴を示した。
• 点ごとの標準偏差マップでは、エッジおよびコーナーで不確実性が最も高かった。これは、逆問題の不適切な定式化のため、これらの特徴が回復が難しいことを確認した。
• MCMCを用いて推定された事後分布はMAP推定と整合的であり、GAN事前分布は空間的場所にわたる正確な不確実性の定量化を可能にした。
• 本手法は、従来の解析的事前分布が困難な場合に、GANが複雑で高次元の分野に対して効果的かつ柔軟な事前分布として機能できることを示した。