[논문 리뷰] Scalable Simulation-Based Model Inference with Test-Time Complexity Control

Manuel Gloeckler, J. P. Manzano-Patrón외 3명|arXiv (Cornell University)|2026. 03. 16.

Functional Brain Connectivity Studies인용 수 0

한 줄 요약

PRISM은 거대한 모델 공간에서 파라미터를 연속적으로 추정하고 이산적 모델 구조를 공동으로 추론하는 시뮬레이션 기반 인코더-디코더이며, 테스트 시점에 모델 복잡도에 대한 조정 가능한 사전 정보를 통해 파라메트릭 간소화를 제어한다.

ABSTRACT

Simulation plays a central role in scientific discovery. In many applications, the bottleneck is no longer running a simulator; it is choosing among large families of plausible simulators, each corresponding to different forward models/hypotheses consistent with observations. Over large model families, classical Bayesian workflows for model selection are impractical. Furthermore, amortized model selection methods typically hard-code a fixed model prior or complexity penalty at training time, requiring users to commit to a particular parsimony assumption before seeing the data. We introduce PRISM, a simulation-based encoder-decoder that infers a joint posterior over both discrete model structures and associated continuous parameters, while enabling test-time control of model complexity via a tunable model prior that the network is conditioned on. We show that PRISM scales to families with combinatorially many (up to billions) of model instantiations on a synthetic symbolic regression task. As a scientific application, we evaluate PRISM on biophysical modeling for diffusion MRI data, showing the ability to perform model selection across several multi-compartment models, on both synthetic and in vivo neuroimaging data.

연구 동기 및 목표

• 데이터 주도 불확실성 하에서 대규모 시뮬레이터/모델 계통군 중에서 선택할 필요성을 제시한다.
• 모델 구조와 매개변수를 함께 학습하는 확장 가능하고 상환적 추론 프레임워크를 개발한다.
• 재학습 없이 테스트 시점에 복잡성을 제어하기 위해 조정 가능한 모델 사전 lambda를 도입한다.
• 수십억 개 구성의 모델 공간에 대한 확장 가능성을 입증한다.
• PRISM을 기호 회귀와 확산 MRI에 적용하여 모델 선택과 불확실성 정량화를 보여준다.

제안 방법

• PRISM을 이산적 모델 구조용과 연속 매개변수용의 두 가지 디코딩 스트림이 있는 트랜스포머 기반 인코더-디코더로 제시한다.
• 모델 포스터를 x와 lambda에 조건화된 자기회귀 다변량 Bernoulli 분포로 표현한다.
• 멀티모달 매개변수 포스터리어를 포착하기 위해 확산 기반 디코더를 사용하고, v-prediction 목적과 관측에 대한 교차 어텐션을 적용한다.
• 추론 시점의 간결성을 조건화하기 위해 적응형 계층 정규화를 통해 lambda를 주입한다.
• 매개변수 디코더에서 비활성 구성요소를 마스킹하여 사용되지 않는 차원을 주변화하고 모델 간에 단일 디코더를 공유한다.
• 온라인 데이터 생성을 사용하여 두 가지 손실로 엔드투엔드 학습한다: 모델 디코드에 대한 Bernoulli NLL과 매개변수에 대한 확산 v-prediction 손실.

Figure 1: PRISM overview. (a) During training, we sample from a model family ${\mathcal{M}}$ with a hierarchical prior $p(\mathcal{M}\mid\lambda)$ , where $\lambda$ controls a chosen notion of model complexity and approximate jointly the model posterior and the conditional parameter posterior $p(\ma

실험 결과

연구 질문

• RQ1 PRISM이 조합적 모델 공간 전체에서 이산적 모델 구조와 연속 매개변수에 대한 공동 포스터리어를 추론할 수 있는가?
• RQ2 테스트 시점에 조정 가능한 모델 사전 lambda가 재학습 없이도 모델 복잡성을 효과적으로 제어하는가?
• RQ3 합성 데이터와 실제 데이터에서 PRISM이 모델 및 매개변수 포스터리어를 얼마나 잘 보정하는가?
• RQ4 PRISM이 수십억 개의 모델 인스턴스에 확장되더라도 정확한 모델 선택과 매개변수 추론을 제공할 수 있는가?
• RQ5 의사결정 SBI/SBMI 접근법과 비교하여, 기호 회귀 및 확산 MRI 응용에서 PRISM이 경쟁력 있거나 우수한가?

주요 결과

• PRISM은 대규모 조합적 모델 공간에서 모델 및 매개변수 포스터리어를 가능하게 하며, 합성 기호회귀 과제에서 수십억 개의 인스턴스로 확장한다.
• lambda를 변화시키면 재학습 없이도 더 간단하고 희소한 설명을 산출하도록 모델 포스터리어가 바뀐다.
• PRISM은 대규모 모델 규모에서 기존 SBMI 방법보다 성능이 우수하며, 좋은 보정(SBC)을 유지하고 상위 5개 정확도 정보가 >90%로 높다.
• 확산 MRI에서 PRISM은 다중 구획 모델과 수집 프로토콜에 걸쳐 모델 및 매개변수 포스터리어를 정확히 추정하며, 모델 포스터리어가 근거 기반 추정치와 정량화된 불확실성과 일치한다.
• PRISM은 해석 가능한 트랙토그래피를 가능하게 하고 MCMC 기준선과의 일치를 개선하며 데이터 세트 전반에 걸쳐 복셀 단위의 빠른 상환 추론을 가능하게 한다.

Figure 2: Illustration on symbolic regression task. Left: Ground-truth function and noisy observations (black, $x<10$ ), compared to posterior predictives samples for two model complexities $\lambda$ (95% credible interval and one noiseless sample each, chosen as the simplest posterior draw). Right: