[論文レビュー] Solving Bayesian Inverse Problems via Variational Autoencoders

Hwan Goh, Sheroze Sheriffdeen+2 more|arXiv (Cornell University)|Dec 5, 2019

Gaussian Processes and Bayesian Inference参考文献 45被引用数 31

ひとこと要約

本稿では、物理ベースのモデル、情報性のある事前分布、および対応するパラメータ-観測データを活用することで、ベイズ逆問題における高速かつ高精度な不確実性評価（UQ）を実現する、UQ-VAEと呼ばれる変分オートエンコーダー（VAE）フレームワークを提案する。潜在空間を関心対象パラメータ（PoI）空間として再解釈し、調整可能なハイパーパrameter α を持つ柔軟な発散に基づく学習目的関数を用いることで、限られた訓練データでも頑健な事後分布近似が達成される。これは、楕円型PDE制約付き逆問題において実証された。

ABSTRACT

In recent years, the field of machine learning has made phenomenal progress in the pursuit of simulating real-world data generation processes. One notable example of such success is the variational autoencoder (VAE). In this work, with a small shift in perspective, we leverage and adapt VAEs for a different purpose: uncertainty quantification in scientific inverse problems. We introduce UQ-VAE: a flexible, adaptive, hybrid data/model-informed framework for training neural networks capable of rapid modelling of the posterior distribution representing the unknown parameter of interest. Specifically, from divergence-based variational inference, our framework is derived such that most of the information usually present in scientific inverse problems is fully utilized in the training procedure. Additionally, this framework includes an adjustable hyperparameter that allows selection of the notion of distance between the posterior model and the target distribution. This introduces more flexibility in controlling how optimization directs the learning of the posterior model. Further, this framework possesses an inherent adaptive optimization property that emerges through the learning of the posterior uncertainty.

研究の動機と目的

• 完全な事後分布サンプリングが計算的に非現実的である科学的逆問題における、効率的かつ正確な不確実性評価（UQ）の課題に対処すること。
• 変分オートエンコーダー（VAEs）を生成的モデリングから逆問題に再利用するために、潜在空間を関心対象パラメータ（PoI）空間として再解釈すること。
• 物理法則（パラメータから観測値への写像を通じて）、PoI 構造に関する事前知識、および実測のPoI-観測ペアを統合したハイブリッドでモデル制約付きのフレームワークを構築すること。
• モデル事後分布と目的事後分布の間の発散を制御する調整可能なハイパーパrameter α を導入し、不確実性推定の最適化を柔軟に可能にすること。
• フレームワークが最小限のハイパーパrameterチューニングと現実的なデータサイズ（例：M=500）で信頼性の高い不確実性推定を達成できることを示すこと。

提案手法

• VAEの潜在空間を、未知の関心対象パラメータ（PoI）の空間として解釈し、生成器ネットワークを物理ベースのパラメータから観測値への写像（PtOマップ）として表現する。
• 標準的な等方的ガウス分布ではなく、物理的性質を反映したPoI空間上の構造的事前分布を用いることで、潜在分布に物理的性質を組み込む。
• Evidence Lower Bound（ELBO）を変更し、調整可能なハイパーパrameter α を含む発散に基づく変分推論目的関数を採用し、ゼロ強制型とゼロ回避型のKullback-Leibler発散のバランスを制御する。
• 通常のVAEでは利用不可能な潜在データとして、PoIと観測値のペア（u^(m), y_obs^(m)）の訓練データを組み込み、事後分布近似を正則化する。
• 尤度項、事前分布項、および事後分布データ項を組み合わせた損失関数により、ニューラルネットワークの重みを最適化し、事後分布データ項を不適切に定式化された逆問題の正則化子として機能させる。
• PtOマップに物理ベースの数値モデルを用いることで、このコンponentの学習を回避し、完全に事後分布推論に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 生成的モデリングの目的から離れて、科学的逆問題における不確実性評価にVAEフレームワークを効果的に再利用できるか？
• RQ2 物理法則、PoIに関する事前知識、および実測データをどのように統合することで、逆問題における事後分布近似を改善できるか？
• RQ3 ハイパーパrameter α が、逆問題の文脈における事後分散とモデル忠実度のトレードオフに与える影響は何か？
• RQ4 提案フレームワークは、限られた訓練データ（特に完全な事後分布サンプリングが非現実的である場合）でも信頼性のある不確実性推定を達成できるか？
• RQ5 PoI-観測値ペアを潜在データとして組み込むことで、事後モデルの訓練および一般化性能がどのように向上するか？

主な発見

• UQ-VAEフレームワークは、M=500の訓練サンプルのみで、楕円型PDE制約付き逆問題についても実行可能で正確な不確実性推定を達成した。これは、限られたデータでも有効であることを示している。
• α が低下するにつれて事後分散が増加し、α が小さい値（ゼロ強制型KLDに近い）では不確実性が高くなる傾向が確認され、これは多モーダルな事後分布近似における理論的期待と整合的である。
• α が大きい値（ゼロ回避型KLDに近い）では、事後分散が低くなり、事後分布モデルがより集中する傾向を示す。
• α が1に近づくと、訓練プロセスが不安定化し、PoIデータの影響が薄れ、正則化が弱く、おそらく不適切に定式化された領域に最適化がシフトする。
• 不確実性と訓練データサイズの間には逆関係が見られ、より多くのデータが得られれば不確実性が低下する。これは情報の可用性を反映している。
• 本手法は最小限のハイパーパrameterチューニングで頑健であり、主にα の調整に依存するが、PtOマップと事前分布は物理的原則によってガイド可能である。