[論文レビュー] Truncated proposals for scalable and hassle-free simulation-based inference

Michael Deistler, Pedro J. Gonçalves+1 more|arXiv (Cornell University)|Oct 10, 2022

Machine Learning and Algorithms被引用数 24

ひとこと要約

TSNPEは逐次ニューラルポスタリオ推定において切り捨てられた提案を導入し、安定的でスケーラブルかつロバストなシミュレーションベースの推論を実現し、効率的なカバレッジ診断と神経科学モデルへの適用を成功させる。

ABSTRACT

Simulation-based inference (SBI) solves statistical inverse problems by repeatedly running a stochastic simulator and inferring posterior distributions from model-simulations. To improve simulation efficiency, several inference methods take a sequential approach and iteratively adapt the proposal distributions from which model simulations are generated. However, many of these sequential methods are difficult to use in practice, both because the resulting optimisation problems can be challenging and efficient diagnostic tools are lacking. To overcome these issues, we present Truncated Sequential Neural Posterior Estimation (TSNPE). TSNPE performs sequential inference with truncated proposals, sidestepping the optimisation issues of alternative approaches. In addition, TSNPE allows to efficiently perform coverage tests that can scale to complex models with many parameters. We demonstrate that TSNPE performs on par with previous methods on established benchmark tasks. We then apply TSNPE to two challenging problems from neuroscience and show that TSNPE can successfully obtain the posterior distributions, whereas previous methods fail. Overall, our results demonstrate that TSNPE is an efficient, accurate, and robust inference method that can scale to challenging scientific models.

研究の動機と目的

• 逐次ニューラルポスタリオ推定（SNPE）における不安定性と診断上の制限を動機づけ、対処する。
• 訓練を安定化させるため、切り捨てられた事前分布を用いた切り捨て逐次ニューラルポスタリオ推定（TSNPE）を提案する。
• 高次元モデルのためのスケーラブルなポスタリエ推定と迅速で信頼性のあるカバレッジ診断を可能にする。

提案手法

• SNPEで提案分布として切り捨てられた事前分布を使用し、事後の高確率領域内で訓練を維持する。
• 切り捨てられた提案分布からサンプルを取って、各ラウンドで最大尤度法によりニューラル密度推定器を訓練する。
• 近似事後の高確率領域（HPR）を定義・推定して切り捨てを構成し、εで領域を制御する。
• 固定予算で切り捨て提案からのサンプリング戦略を実装する（受容抽出、そしてサンプリング-重要再サンプリング、SIR）。
• シミュレーションベースのカバレッジキャリブレーション（SBCC）を導入し、経験的カバレッジを名目レベルと比較してポスタ―カバレッジを診断する。
• 効率的な診断のために、TSNPEポスターリアからの閉形式評価とサンプリングを許可する。

実験結果

リサーチクエスチョン

• RQ1 切り捨てられた提案は、事前境界を越えて後方分布の質量が漏れずにSNPEにおいて安定した最大尤度訓練を提供できるだろうか？
• RQ2 TSNPEはベンチマークタスクで最先端手法と競争力のある性能を発揮し、複雑で高次元の神経科学モデルへスケールできるか？
• RQ3 各ラウンドでのカバレッジ診断（SBCC）をどのように効率的に適用して後方の信頼性を検証できるか？
• RQ4 切り捨て提案から訓練データを生成する際の実用的なサンプリング手法とそのトレードオフは何か？

主な発見

• TSNPEはベンチマークタスクで従来のSNPE手法と同等かそれ以上の性能を示し、検証された範囲内でεの選択に頑健である。
• TSNPEは、漏出や計算不可能性のためAPTが失敗するような難しい神経科学モデルの後方を堅牢に推定する。
• 切り捨て提案アプローチはすべてのラウンドで最大尤度による訓練を可能にし、SNPEの不安定さを回避する。
• SBCCは、反復ごとに後方のカバレッジを評価するための効率的でスケーラブルな診断を提供し、高次元の問題も含む。
• pyloric networkとmulticompartment neuron modelsでは、TSNPEは観測データと一致する後方予測サンプルを生み出す（ケースによってはAPTとは異なる）。