[論文レビュー] GATSBI: Generative Adversarial Training for Simulation-Based Inference

Ramesh Poornima, Jan-Matthis Lueckmann+5 more|arXiv (Cornell University)|Mar 12, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

GATSBI は、明示的な尤度が不要な暗黙の後方分布を学習する、シミュレーションベース推論（SBI）のための生成的対抗的訓練フレームワークを導入する。変分推論を対抗的設定に再定式化することで、アモアタイズドで高次元の後方分布推定が可能となり、暗黙の事前分布をサポートし、浅い水の流れの動的モデルや画像ノイズ除去シミュレータなどの複雑なモデルにおいて、適切にキャリブレーションされた推論を達成する。

ABSTRACT

Simulation-based inference (SBI) refers to statistical inference on stochastic models for which we can generate samples, but not compute likelihoods. Like SBI algorithms, generative adversarial networks (GANs) do not require explicit likelihoods. We study the relationship between SBI and GANs, and introduce GATSBI, an adversarial approach to SBI. GATSBI reformulates the variational objective in an adversarial setting to learn implicit posterior distributions. Inference with GATSBI is amortised across observations, works in high-dimensional posterior spaces and supports implicit priors. We evaluate GATSBI on two SBI benchmark problems and on two high-dimensional simulators. On a model for wave propagation on the surface of a shallow water body, we show that GATSBI can return well-calibrated posterior estimates even in high dimensions. On a model of camera optics, it infers a high-dimensional posterior given an implicit prior, and performs better than a state-of-the-art SBI approach. We also show how GATSBI can be extended to perform sequential posterior estimation to focus on individual observations. Overall, GATSBI opens up opportunities for leveraging advances in GANs to perform Bayesian inference on high-dimensional simulation-based models.

研究の動機と目的

• 尤度が計算不能な状況における、高次元パrameter空間におけるシミュレーションベース推論（SBI）における高次元後方分布推論の課題に対処すること。
• 生成的敵対的ネットワーク（GAN）の長所を活用し、明示的な密度評価を必要としない尤度フリー推論を実現すること。
• 観測値間のアモアタイズド推論を可能にし、高次元パrameter空間における推論の効率を向上させること。
• 解析的に指定されていない事前分布をサポートする暗黙の事前分布を可能にすること。
• 個々の観測値に対する推論の改善を可能にする、逐次的後方分布推定への拡張を実現すること。

提案手法

• 条件付き GAN アーキテクチャを用いて、SBI を敵対的変分推論問題として定式化すること。
• 観測データから後方サンプルを生成するジェネレータを訓練し、暗黙の後方分布 $ q_\phi(\theta|x) $ を学習すること。
• 観測データ $ x $ を条件として、真のパラメータ $ \theta $ と生成された後方サンプル $ \theta' $ を区別するディスクラミネータを用いること。
• GAN の各部の訓練を安定化させるために、スペクトル正規化と勾配クリッピングを適用すること。
• アモアタイズド推論と GAN フレームワークを統合し、再訓練や MCMC サンプリングなしに、新しい観測値に対して高速な後方サンプリングを可能にすること。
• 繰り返しの改善を用いて、特定の観測値に対する推論の改善を図ることで、フレームワークを逐次的後方分布推定に拡張すること。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、高次元パrameter空間におけるシミュレーションベース推論に効果的に適応可能か？
• RQ2 事前分布が暗黙的に定義されていても、GATSBI は適切にキャリブレーションされた後方分布を学習できるか？
• RQ3 NPE ような正規化フローに基づく最先端の SBI 手法と比較して、GATSBI は高次元設定でどの程度の性能を示すか？
• RQ4 GATSBI は個々の観測値に対する推論の改善を可能にする逐次的後方分布推定をサポートできるか？
• RQ5 GATSBI は、流体動力学や画像ノイズ除去のような複雑で高次元のシミュレータにおいても、キャリブレーションと性能を維持できるか？

主な発見

• GATSBI は 100 次元のパrameter空間を持つ浅い水の流れモデルにおいて、適切にキャリブレーションされた後方推定を達成し、高次元推論へのスケーラビリティを示した。
• 784 次元の画像事前分布を持つカメラ光学シミュレータにおいて、GATSBI は暗黙の事前分布を用いて高次元の後方分布を的確に推定し、NPE を上回る性能を示した。
• GATSBI は複数のベンチマーク問題において、NPE や最先端の SBI 手法と同等の性能とキャリブレーションを維持した。
• この手法はアモアタイズド推論をサポートしており、再訓練や MCMC サンプリングなしに、新しい観測値に対して高速な後方サンプリングが可能である。
• GATSBI を用いた逐次的後方分布推定により、特定のデータポイントに対する集中した改善が可能となり、個々の観測値の後方分布の精度が向上した。
• SBC（球面ベイズキャリブレーション）の結果、GATSBI の後方周辺分布が一様分布に従うことが確認され、次元全体にわたり適切なキャリブレーションが実現していることが示された。