[논문 리뷰] Truncated proposals for scalable and hassle-free simulation-based inference

Michael Deistler, Pedro J. Gonçalves외 1명|arXiv (Cornell University)|2022. 10. 10.

Machine Learning and Algorithms인용 수 24

한 줄 요약

TSNPE는 시퀀셜 뉴럴 포스터리어 추정에서 잘린 제안을 도입하여 안정적이고 확장 가능하며 강건한 시뮬레이션 기반 추론을 가능하게 하며, 효율적인 커버리지 진단 및 신경과학 모델에의 성공적인 적용을 제공합니다.

ABSTRACT

Simulation-based inference (SBI) solves statistical inverse problems by repeatedly running a stochastic simulator and inferring posterior distributions from model-simulations. To improve simulation efficiency, several inference methods take a sequential approach and iteratively adapt the proposal distributions from which model simulations are generated. However, many of these sequential methods are difficult to use in practice, both because the resulting optimisation problems can be challenging and efficient diagnostic tools are lacking. To overcome these issues, we present Truncated Sequential Neural Posterior Estimation (TSNPE). TSNPE performs sequential inference with truncated proposals, sidestepping the optimisation issues of alternative approaches. In addition, TSNPE allows to efficiently perform coverage tests that can scale to complex models with many parameters. We demonstrate that TSNPE performs on par with previous methods on established benchmark tasks. We then apply TSNPE to two challenging problems from neuroscience and show that TSNPE can successfully obtain the posterior distributions, whereas previous methods fail. Overall, our results demonstrate that TSNPE is an efficient, accurate, and robust inference method that can scale to challenging scientific models.

연구 동기 및 목표

• 순차적 신경 포스터리어 추정(SNPE)의 불안정성과 진단 한계를 동기 부여하고 해결합니다.
• 학습을 안정화하기 위해 잘린 사전을 사용한 Truncated Sequential Neural Posterior Estimation(TSNPE)을 제안합니다.
• 높은 차원의 모델에 대해 확장 가능 posterior 추론과 빠르고 신뢰할 수 있는 커버리지 진단을 가능하게 합니다.

제안 방법

• 교육을 포스터리어의 고확률 영역 내로 유지하기 위해 SNPE의 제안으로 잘린 사전을 사용합니다.
• 잘린 제안을 샘플링하여 매 라운드에서 최대우도 추정을 통해 신경 밀도 추정기를 학습합니다.
• epsilon으로 영역을 제어하는 approximately posterior의 고확률 영역(HPR)을 정의하고 추정을 통해 구성합니다.
• 고정 예산으로 잘린 제안에서의 샘플링 전략(거절 샘플링 및 샘플링-중요도 재샘플링, SIR)을 구현합니다.
• 시뮬레이션 기반 커버리지 보정(SBCC)을 도입하여 경험적 커버리지가 명목 수준과 비교해 포스터리어 커버리지를 진단합니다.
• 효율적인 진단을 위해 TSNPE 포스터리어에서 닫힌 형식의 평가 및 샘플링을 허용합니다.

실험 결과

연구 질문

• RQ1 잘린 제안이 포스터리어 질량이 사전 경계 밖으로 누설되지 않으면서 SNPE에서 안정적인 최대우도 학습을 제공할 수 있을까요?
• RQ2 TSNPE가 벤치마크 작업에서 최첨단 방법과 경쟁력 있는 성능을 달성하고 복잡하고 고차원적인 신경과학 모델로 확장될 수 있을까요?
• RQ3 SBCC를 각 라운드마다 효율적으로 적용하여 포스터리어 신뢰성을 검증하는 방법은 무엇일까요?
• RQ4 잘린 제안으로부터 학습 데이터를 생성하기 위한 실용적 샘플링 방식과 그 트레이드오프는 무엇인가요?

주요 결과

• TSNPE는 벤치마크 작업에서 기존의 SNPE 방법과 동일하거나 이를 능가하며, epsilon의 선택에 따라 테스트된 범위에서 견고합니다.
• TSNPE는 누수나 계산상의 불합리로 인해 APT가 실패하는 도전적인 신경과학 모델에서 포스터리어를 견고하게 추론합니다.
• 잘린 제안 방법은 모든 라운드에서 최대우도로 학습을 가능하게 하여 SNPE의 불안정성을 피합니다.
• SBCC는 모든 반복에서 포스터리어 커버리지를 평가하는 효율적이고 확장 가능한 진단을 제공하며 고차원 문제도 포함합니다.
• pyloric network 및 multicompartment neuron models에서 TSNPE는 관찰 데이터와 일치하는 포스터리어 예측 샘플을 생성하지만 어떤 경우에는 APT와 다릅니다.