[論文レビュー] Scalable Simulation-Based Model Inference with Test-Time Complexity Control

Manuel Gloeckler, J. P. Manzano-Patrón+3 more|arXiv (Cornell University)|Mar 16, 2026

Functional Brain Connectivity Studies被引用数 0

ひとこと要約

PRISM は、巨大なモデル空間を横断する制御のための parsimonious 性を事前に調整可能な、離散的モデル構造と連続パラメータを同時に推論するシミュレーションベースのエンコーダ-デコーダである。

ABSTRACT

Simulation plays a central role in scientific discovery. In many applications, the bottleneck is no longer running a simulator; it is choosing among large families of plausible simulators, each corresponding to different forward models/hypotheses consistent with observations. Over large model families, classical Bayesian workflows for model selection are impractical. Furthermore, amortized model selection methods typically hard-code a fixed model prior or complexity penalty at training time, requiring users to commit to a particular parsimony assumption before seeing the data. We introduce PRISM, a simulation-based encoder-decoder that infers a joint posterior over both discrete model structures and associated continuous parameters, while enabling test-time control of model complexity via a tunable model prior that the network is conditioned on. We show that PRISM scales to families with combinatorially many (up to billions) of model instantiations on a synthetic symbolic regression task. As a scientific application, we evaluate PRISM on biophysical modeling for diffusion MRI data, showing the ability to perform model selection across several multi-compartment models, on both synthetic and in vivo neuroimaging data.

研究の動機と目的

• データ駆動的不確実性の下で、膨大なファミリのシミュレータ/モデルの中から選択する必要性を動機づける。
• モデル構造とパラメータを同時に学習する、スケーラブルで償却可能な推論フレームワークを開発する。
• 再訓練なしに推論時の複雑さを制御する調整可能なモデル事前分布 lambda を導入する。
• 十億規模の構成を含むモデル空間に対してもスケーラブルであることを実証する。
• PRISM を象徴回帰と拡散 MRI に適用し、モデル選択と不確実性定量化を実証する。」],
• method:[
• PRISM を、離散的モデル構造と連続パラメータの二つのデコーディングストリームを持つトランスフォーマー型エンコーダ-デコーダとして提示する。
• x と lambda に条件づけられた自己回帰的多変量Bernoulli分布としてモデル後部を表現する。
• 多峰性パラメータ事後分布を捉えるために拡散型デコーダを用い、v-予測目的と観測へのクロスアテンションを採用する。
• 推論時にパリソニーを条件付けるために adaptive layer normalization を介して lambda を注入する。
• パラメータデコーダの inactive コンポーネントをマスクして使われない次元を周辺化し、単一デコーダをモデル間で共有する。
• オンラインデータ生成を用いて、モデルデコードの Bernoulli NLL とパラメータの拡散 v-予測の二つの損失でエンドツーエンドに訓練する。

提案手法

• PRISM を、離散的モデル構造と連続パラメータの二つのデコーディングストリームを持つトランスフォーマー型エンコーダ-デコーダとして提示する。
• x と lambda に条件づけられた自己回帰的多変量Bernoulli分布としてモデル後部を表現する。
• 多峰性パラメータ事後分布を捉えるために拡散型デコーダを用い、v-予測目的と観測へのクロスアテンションを採用する。
• 推論時にパリソニーを条件付けるために adaptive layer normalization を介して lambda を注入する。
• パラメータデコーダの inactive コンポーネントをマスクして使われない次元を周辺化し、単一デコーダをモデル間で共有する。
• オンラインデータ生成を用いて、モデルデコードの Bernoulli NLL とパラメータの拡散 v-予測の二つの損失でエンドツーエンドに訓練する。

Figure 1: PRISM overview. (a) During training, we sample from a model family ${\mathcal{M}}$ with a hierarchical prior $p(\mathcal{M}\mid\lambda)$ , where $\lambda$ controls a chosen notion of model complexity and approximate jointly the model posterior and the conditional parameter posterior $p(\ma

実験結果

リサーチクエスチョン

• RQ1 PRISM は、組合せ的なモデル空間全体にわたって離散的モデル構造と連続パラメータの共同後部を推定できるか。
• RQ2 再訓練なしに推論時調整可能なモデル-prior lambda がモデルの複雑さを効果的に制御できるか。
• RQ3 合成データと実データで PRISM はモデルとパラメータ後部を適切に校正できるか。
• RQ4 PRISM は十億規模のモデルインスタンシェーションにスケールしても正確なモデル選択とパラメータ推定を提供できるか。
• RQ5 象徴回帰と拡散 MRI の適用において、PRISM は既存の SBI および SBMI アプローチと競合する/優れているか。

主な発見

• PRISM は大規模な組合せモデル空間のモデルとパラメータの後部を推定可能とし、合成象徴回帰タスクで十億規模のインスタンシェーションにスケールする。
• lambda を変えるとモデル後部が再訓練なしにより単純でまばらな説明へと形を変える。
• PRISM は大規模なモデルスケールで従来の SBMI 手法よりも優れ、良好な校正（SBC）と情報量の多い上位5件の精度 (>90%) を維持する。
• 拡散 MRI では、PRISM は多部屋間モデルと取得プロトコルを横断してモデルとパラメータの後部を正確に推定し、モデル後部が証拠ベースの推定と校正済みの不確実性と整合する。
• PRISM は推定が容易なトラクトグラフィを実現し、MCMC ベースラインとの一致を改善しつつ、データセット全体でのボクセル単位の償却推論を迅速に可能にする。

Figure 2: Illustration on symbolic regression task. Left: Ground-truth function and noisy observations (black, $x<10$ ), compared to posterior predictives samples for two model complexities $\lambda$ (95% credible interval and one noiseless sample each, chosen as the simplest posterior draw). Right: