[논문 리뷰] Sensitivity-Aware Amortized Bayesian Inference

Lasse Elsemüller, Hans Olischläger외 4명|arXiv (Cornell University)|2023. 10. 17.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 신경망 기반 베이지안 추론에 민감도 분석을 효율적으로 통합하기 위해 감도 인식 암시적 베이지안 추론(SA-ABI)을 도입한다. 이 방법은 공유된 딥 앙상블 내에서 여러 가지 가능도, 사전분포 및 데이터 설정을 맥락 변수로 인코딩함으로써, 각 구성에 대해 다시 피팅하지 않고도 빠르고 저비용으로 모델의 구조적 선택과 데이터 변형에 대한 민감도를 평가할 수 있도록 한다. 실제 응용에서 100,000개 이상의 구성에 대해 확장 가능함을 보여준다.

ABSTRACT

Sensitivity analyses reveal the influence of various modeling choices on the outcomes of statistical analyses. While theoretically appealing, they are overwhelmingly inefficient for complex Bayesian models. In this work, we propose sensitivity-aware amortized Bayesian inference (SA-ABI), a multifaceted approach to efficiently integrate sensitivity analyses into simulation-based inference with neural networks. First, we utilize weight sharing to encode the structural similarities between alternative likelihood and prior specifications in the training process with minimal computational overhead. Second, we leverage the rapid inference of neural networks to assess sensitivity to data perturbations and preprocessing steps. In contrast to most other Bayesian approaches, both steps circumvent the costly bottleneck of refitting the model for each choice of likelihood, prior, or data set. Finally, we propose to use deep ensembles to detect sensitivity arising from unreliable approximation (e.g., due to model misspecification). We demonstrate the effectiveness of our method in applied modeling problems, ranging from disease outbreak dynamics and global warming thresholds to human decision-making. Our results support sensitivity-aware inference as a default choice for amortized Bayesian workflows, automatically providing modelers with insights into otherwise hidden dimensions.

연구 동기 및 목표

• 복잡한 베이지안 모델에서 전통적 민감도 분석의 비효율성을 해결하기 위해, 각 모델 변형에 대해 비용이 많이 드는 다시 피팅이 필요로 하는 문제를 해결한다.
• 암시적 베이지안 추론에서 가능도, 사전분포 및 데이터 전처리에 대한 민감도 평가의 계산적 한계를 극복한다.
• 기존의 민감도 분석 기법을 최소한의 계산 오버헤드로 신경망 기반 추론 워크플로우에 통합한다.
• 단일 훈련된 모델을 사용하여 모델의 구조적 및 데이터 기반 변형에 대한 강건성 평가를 실시간으로 수행할 수 있도록 한다.
• 통합된 추론 프레임워크 내에서 딥 앙상블의 불확실성 추정을 활용해 모델 잘못 설정과 근사 불확실성을 탐지한다.

제안 방법

• 공유된 가중치를 사용하여 하나의 신경망 아키텍처 내에서 여러 가능도 및 사전분포 사양을 맥락 변수로 인코딩한다.
• 각 구성원이 서로 다른 모델 설정 조건에 따라 사후분포를 추론할 수 있도록 딥 앙상블을 훈련한다.
• 다른 가능도, 사전분포 또는 데이터 변형을 나타내는 맥락 벡터에 조건을 붙여 사후 추론을 수행함으로써, 재학습 없이도 빠른 예측을 가능하게 한다.
• 앙상블 구성원 간의 예측 분산을 사용하여 근사 민감도 및 잠재적인 모델 잘못 설정을 탐지한다.
• 신경망 추론의 빠른 속도를 활용하여 수천 개의 모델 구성에 대해 대규모 민감도 분석을 수행하고 거의 즉각적인 평가를 가능하게 한다.
• Sobol' 지수 및 데이터 변형 연구와 같은 기존 민감도 분석 방법을 맥락 조건부 추론 프레임워크 내에서 적용한다.

Figure 1: Our proposed approach for sensitivity-aware amortized Bayesian inference (SA-ABI). During training, multiple likelihood , prior , and data configurations are encoded as contexts in a deep ensemble of neural approximators. During inference, our sensitivity-aware method casts model refits as

실험 결과

연구 질문

• RQ1 모델을 각 구성에 대해 다시 피팅하지 않고도 암시적 베이지안 추론에 민감도 분석을 효율적으로 통합할 수 있는가?
• RQ2 신경망을 활용해 가능도, 사전분포와 같은 구조적 모델 선택의 사후 추론에 대한 영향을 체계적으로 평가할 수 있는가?
• RQ3 딥 앙상블 불확실성은 암시적 추론에서 근사 오류 또는 모델 잘못 설정을 어느 정도 효과적으로 탐지할 수 있는가?
• RQ4 단일 신경망 추론 단계를 통해 데이터 변형 민감도를 신속하고 대규모로 평가할 수 있는가?
• RQ5 실제 과학적 응용에서 고차원 모델 구성 공간에 대해 제안된 방법은 어떻게 확장 가능한가?

주요 결과

• SA-ABI는 실질적인 응용에서 유의미한 추론 오버헤드 없이 100,000개 이상의 모델 구성에 대해 민감도 분석을 수행할 수 있으며, 확장 가능성을 입증한다.
• 다양한 가능도 및 사전분포 사양을 인코딩함에도 불구하고, 사후 근사 품질에 거의 손실 없이 정확한 민감도 추정을 달성한다.
• 딥 앙상블 분산은 신뢰할 수 없는 사후 근사 추정을 효과적으로 식별하며, 이는 모델 잘못 설정 또는 근사 오류의 대체 지표로 기능한다.
• 맥락 조건부 추론은 재학습 없이도 데이터 변형 영향을 신속하게 평가할 수 있게 하여 거의 즉각적인 민감도 검사를 가능하게 한다.
• 복잡한 과학 모델, 예를 들어 질병 유행 동역학 및 기후 변화 임계점 추정 모델에서 민감도를 성공적으로 탐지한다.
• 민감도 분석을 기본 구성 요소로 통합함으로써, 이전에는 감지되지 않았을 수 있는 베이지안 워크플로우 내 숨겨진 불확실성을 드러낸다.

(a) Bivariate posteriors.