[論文レビュー] All-in-one simulation-based inference

Manuel Gloeckler, Michael Deistler+3 more|arXiv (Cornell University)|Apr 15, 2024

Simulation Techniques and Applications被引用数 5

ひとこと要約

Simformerは、結合パラメータ-data入力上のトランスフォーマーを用いて任意の条件分布（事後、尤度、その他）をサンプルし、非構造化データ、関数値パラメータ、観測間隔に対応する拡散モデルベースのアモルタイズド SBI 法である。

ABSTRACT

Amortized Bayesian inference trains neural networks to solve stochastic inference problems using model simulations, thereby making it possible to rapidly perform Bayesian inference for any newly observed data. However, current simulation-based amortized inference methods are simulation-hungry and inflexible: They require the specification of a fixed parametric prior, simulator, and inference tasks ahead of time. Here, we present a new amortized inference method -- the Simformer -- which overcomes these limitations. By training a probabilistic diffusion model with transformer architectures, the Simformer outperforms current state-of-the-art amortized inference approaches on benchmark tasks and is substantially more flexible: It can be applied to models with function-valued parameters, it can handle inference scenarios with missing or unstructured data, and it can sample arbitrary conditionals of the joint distribution of parameters and data, including both posterior and likelihood. We showcase the performance and flexibility of the Simformer on simulators from ecology, epidemiology, and neuroscience, and demonstrate that it opens up new possibilities and application domains for amortized Bayesian inference on simulation-based models.

研究の動機と目的

• より柔軟で効率的なアモルタイズド SBI が、不規則/構造化データおよび関数値パラメータと共に機能する必要性を動機づける。
• パラメータとデータの結合分布の任意の条件分布をサンプルできる単一モデルを開発する。
• 依存関係をエンコードし、条件付き/推定出力を許すために、拡散モデルと注意機構を備えたトランスフォーマーを活用する。
• 生態学、疫学、神経科学の多様なシミュレータで方法をデモンストレーションし、適用範囲の広さを示す。

提案手法

• パラメータとデータのすべての変数をトークンベースの表現としてトランスフォーマーの入力とする。
• ノイズ除去スコアマッチングを用いて結合分布 p(theta, x) に対するスコアベース拡散モデルを学習する。
• 依存構造をエンコードし任意の条件分布のサンプリングを許すために、注意マスク M_E を導入する。
• ガイド拡散を通じて区間や制約で条件付けを可能にし、制約付き分布からサンプリングする。
• conditioningマスクのランダム化により、結合分布の任意の条件を出力するようモデルを訓練する。
• 単一の訓練済みネットワークから事後、尤度、その他の条件分布をサンプリングできるようにする。

実験結果

リサーチクエスチョン

• RQ1 単一の拡散-トランスフォーマーモデルは、結合分布 p(theta, x) の任意の条件分布を正確にサンプルできるか。
• RQ2 依存構造マスクを組み込むと SBI の精度と効率は向上するか。
• RQ3 未構造データ、欠損値、および関数値パラメータ（無限次元）を方法は扱えるか。
• RQ4 ガイド拡散は観測区間や追加制約での条件付けをどのように可能にするか。
• RQ5 生態学、疫学、神経科学の多様なシミュレータに対して手法は有効か。

主な発見

• Simformer は、指定されたシミュレーション予算内での精度の点でベンチマーク SBI タスクに対して neural posterior estimation より優れている。
• ドメイン情報を含む注意マスクを使用すると、特に依存構造が疎な場合の精度が向上する。
• 平均して、Simformer はタスクと観測に対して NPE より約 10 倍少ないシミュレーションで済む。
• モデルは事後および尤度を含む任意の条件分布をサンプルでき、未構造データおよび関数値パラメータを扱える。
• Guided diffusion は観測区間やその他の制約での条件付けを可能にし、事後および事後予測サンプルに影響を与える。
• この手法は、Lotka-Volterra の未構造観測、無限次元パラメータ空間を持つ SIRD、およびエネルギー制約を持つ Hodgkin-Huxley で正確な推論を達成する。