[論文レビュー] Automatic Posterior Transformation for Likelihood-Free Inference

David S. Greenberg, Marcel Nonnenmacher+1 more|arXiv (Cornell University)|May 17, 2019

Machine Learning in Healthcare被引用数 74

ひとこと要約

APT は、任意で動的に更新される提案と流れベースの密度推定器を許容する逐次的なニューラルポスターリオ推定法で、次元の高い時系列や画像を含む尤度自由設定において、真のポスターリオを効率的に推定できる。

ABSTRACT

How can one perform Bayesian inference on stochastic simulators with intractable likelihoods? A recent approach is to learn the posterior from adaptively proposed simulations using neural network-based conditional density estimators. However, existing methods are limited to a narrow range of proposal distributions or require importance weighting that can limit performance in practice. Here we present automatic posterior transformation (APT), a new sequential neural posterior estimation method for simulation-based inference. APT can modify the posterior estimate using arbitrary, dynamically updated proposals, and is compatible with powerful flow-based density estimators. It is more flexible, scalable and efficient than previous simulation-based inference techniques. APT can operate directly on high-dimensional time series and image data, opening up new applications for likelihood-free inference.

研究の動機と目的

• 計算不能な尤度を持つ確率的シミュレータのベイズ推定を動機づける。
• 柔軟でアモタイズされた SNPE 技法として Automatic Posterior Transformation (APT) を導入する。
• 重要度重みなしに任意の提案と流れベースの密度推定器の使用を可能にする。
• 要約統計量を用いずに、APT が高次元の時系列や画像データにスケールすることを示す。

提案手法

• 尤度なし設定におけるポスターリオ推定問題を、p(θ|x) を近似する qF(x,φ)(θ) を学習することとして定義する。
• 正規化定数 Z(x,φ) を用いて、真のポスターリオと提案ポスターの間を、比率 p(θ|x) と ṗ(θ)/p(θ) で変換する。
• 式 (2) のように ṡ を用いて変換後の損失 ḡL を最小化して、p(θ|x) と ṗ(θ|x) を回復するよう訓練する。
• ラウンド間で任意に動的更新される提案 ṗr(θ) を許容し、柔軟なデータ取得を可能にする。
• Gaussian、混合分布、流れベースの密度推定器をサポートし、積分を和に置換する原子提案を含む。
• 複雑な提案でのサンプリングと学習を効率化するため ṭq の閉形式解を提供する。

実験結果

リサーチクエスチョン

• RQ1 APT は、任意の提案分布 ṗ(θ) の下で、重要度重み付けなしに真のポスターリオ p(θ|x) を回復できるか？
• RQ2 異なる密度推定器（Gaussian、MoG、flows）および原子提案で、APT はどのように機能するか？
• RQ3 手作業で作成した要約統計量に頼らず、長い時系列や画像のような高次元データに対して APT はスケールするか？
• RQ4 従来の SNPE アプローチよりも、APT は多峰性で高次元のポスターリオ推論をより効率的に実現するか？
• RQ5 適切なニューラルアーキテクチャ（RNNs、CNNs）を用いて、時系列および画像データで効果的に動作するか？

主な発見

• APT はラウンドを重ねるごとに真のポスターリオと提案ポスターの両方を回復し、提案と密度推定器の柔軟な使用を可能にする。
• Gaussian および MoG の prior/proposal と様々な posterior に対して、APT は変換後のポスターリオの閉形式更新を導出する（例: 式 (3)-(4)）
• 原子提案により和による訓練が可能となり、流れベースの推定器と多峰性ポスターリオを実現する。
• APT は SNPE-A および SNPE-B を上回り、SLCP や高次元の画像風データを含むいくつかのベンチマークで SNL に接近する。
• APT は生の時系列データを RNN で、画像データを CNN で扱い、手作業の要約統計量を必要としない。