[論文レビュー] JANA: Jointly Amortized Neural Approximation of Complex Bayesian Models

Stefan T. Radev, Marvin Schmitt+4 more|arXiv (Cornell University)|Feb 17, 2023

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

JANAは、要約ネットワーク、事後分布ネットワーク、尤度ネットワークの3つのエンドツーエンド訓練済みネットワークを用いて、複雑なベイズモデルにおけるアンモタイズド事後分布推論と尤度近似を同時に学習する共同ニューラルアーキテクチャを導入する。これは、同一のシミュレーション予算下で、周辺尤度と事後予測分布の効率的かつ高精度な推定を可能にし、ベイズモデル比較や検証の主要な要素を、従来の逐次的手法を上回るか同等の性能で達成する。

ABSTRACT

This work proposes ``jointly amortized neural approximation'' (JANA) of intractable likelihood functions and posterior densities arising in Bayesian surrogate modeling and simulation-based inference. We train three complementary networks in an end-to-end fashion: 1) a summary network to compress individual data points, sets, or time series into informative embedding vectors; 2) a posterior network to learn an amortized approximate posterior; and 3) a likelihood network to learn an amortized approximate likelihood. Their interaction opens a new route to amortized marginal likelihood and posterior predictive estimation -- two important ingredients of Bayesian workflows that are often too expensive for standard methods. We benchmark the fidelity of JANA on a variety of simulation models against state-of-the-art Bayesian methods and propose a powerful and interpretable diagnostic for joint calibration. In addition, we investigate the ability of recurrent likelihood networks to emulate complex time series models without resorting to hand-crafted summary statistics.

研究の動機と目的

• 補間モデリングとシミュレーションベース推論を別々に扱う既存手法のギャップを埋める。
• 積分が閉形式で得られない複雑なモデルにおいて、事後分布と尤度関数の両方を効率的かつアンモタイズドで推定することを可能にする。
• MCMCや高コストの再適合を必要とせず、周辺尤度と事後予測分布を統合的に計算するフレームワークを提供する。
• ニューラルネットワークの共同キャリブレーションのための診断ツールを開発する。
• 手作業で設計された要約統計に依存せずに、時間系列モデルに対して再帰的尤度ネットワークが有効に機能することを示す。

提案手法

• 入力データ（例：時系列、集合）を情報豊富な埋め込みベクトルに圧縮する要約ネットワークを訓練する。
• モデルパラメータ上のアンモタイズド近似事後分布を学習する事後分布ネットワークを訓練する。
• 新しいデータポイントのためのアンモタイズド近似尤度関数を学習する尤度ネットワークを訓練する。
• 尤度ネットワークから、確率的変数変換の公式を用いて周辺尤度を効率的に計算する。
• 新しいデータに対して、事後分布ネットワークと尤度ネットワークを組み合わせることで、事後予測推定を可能にする。
• 3つのネットワークをエンドツーエンドの訓練スキームで統合し、すべてのコンponentsを同時に最適化する。

Figure 1 : A conceptual illustration of our method for jointly amortized neural approximation (JANA). On the one hand, the summary and posterior network can perform amortized posterior estimation and detect model misspecification. On the other hand, the likelihood network can perform amortized likel

実験結果

リサーチクエスチョン

• RQ1 単一のニューラルアーキテクチャが、複雑なベイズモデルにおける事後分布と尤度分布を同時に近似可能か？
• RQ2 同じシミュレーション予算下で、共同アンモタイズド学習は、ABC-SMC や SNL などの逐次的手法を上回るか同等の性能を示すか？
• RQ3 手作業で設計された要約統計に依存せずに、再帰的尤度ネットワークが複雑な時間系列モデルを効果的に再現できるか？
• RQ4 共同ネットワークアーキテクチャが、モデル比較のための効率的かつ高精度な周辺尤度推定をサポートできるか？
• RQ5 統一された診断ツールが、事後分布ネットワークと尤度ネットワークの両方におけるモデルの不適合を、原理的かつ解釈可能な方法で検出できるか？

主な発見

• JANAは、ABC-SMC や SNL、SNPE などの逐次的手法と同等またはそれ以上の性能を、同一のシミュレーション予算下で達成する。
• 共同アーキテクチャにより、変数変換の確率的公式を用いた周辺尤度推定が効率的に行えるようになり、事前予測モデル選択が可能になる。
• MCMC や再適合を必要とせず、迅速かつ高精度に事後予測分布が計算可能となり、強力な検証手順が実現される。
• 再帰的尤度ネットワークは、手作業で設計された要約統計に依存せずに、複雑な時間系列モデルを効果的に再現できた。
• 提案された共同キャリブレーション診断は、事後分布ネットワークと尤度ネットワークの両方におけるモデル不適合を、感受性が高く解釈可能な方法で検出できる。
• 結果は、アンモタイズド推論が無駄であるという仮定に疑問を呈し、深層ネットワークが広範なシミュレーション範囲を経ることで、局所的な精度が向上することを示している。

Figure 2 : Recurrent likelihood networks can emulate complex Bayesian stochastic differential equation models of disease outbreaks (see Experiment 4 ).The top and bottom row each depict $1\,000$ simulations (same $\boldsymbol{\theta}$ ) from the surrogate and the actual simulator, respectively.