[논문 리뷰] Hierarchical Neural Simulation-Based Inference Over Event Ensembles

L. Heinrich, Siddharth Mishra-Sharma외 2명|arXiv (Cornell University)|2023. 06. 21.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 가능성이 없는 우도를 가진 모델에서 매개변수 추정을 향상시키기 위해 데이터셋 전체 학습을 활용하는 계층적 신경 시뮬레이션 기반 추론 프레임워크를 제안한다. 딥 세트와 노멀라이징 플로우를 사용하여 이벤트 집합에서 글로벌 및 로컬 매개변수를 동시에 추론한다. MCMC보다 빠르고 일관된 추론을 달성하며, 스트리밍 환경에서도 실시간 업데이트를 지원한다.

ABSTRACT

When analyzing real-world data it is common to work with event ensembles, which comprise sets of observations that collectively constrain the parameters of an underlying model of interest. Such models often have a hierarchical structure, where "local" parameters impact individual events and "global" parameters influence the entire dataset. We introduce practical approaches for frequentist and Bayesian dataset-wide probabilistic inference in cases where the likelihood is intractable, but simulations can be realized via a hierarchical forward model. We construct neural estimators for the likelihood(-ratio) or posterior and show that explicitly accounting for the model's hierarchical structure can lead to significantly tighter parameter constraints. We ground our discussion using case studies from the physical sciences, focusing on examples from particle physics and cosmology.

연구 동기 및 목표

• 기존의 시뮬레이션 기반 추론 방법이 개별 이벤트를 별개로 다루며 이벤트 집합의 계층적 구조를 忽略하는 한계를 해결하기 위해.
• 우도가 가능성이 없지만 정방향 시뮬레이션이 가능한 암묵적 모델에서 데이터셋 전체 추론을 위한 통합 프레임워크를 개발하기 위해.
• 글로벌 매개변수(모든 이벤트에 영향을 주는)와 로컬 매개변수(개별 이벤트에 영향을 주는) 간의 상호작용을 명시적으로 모델링하여 매개변수 제약의 정확도를 향상시키기 위해.
• 전체 데이터셋을 다시 훈련하지 않고도 새로운 데이터가 도착할 때마다 실시간으로 업데이트 가능한 효율적이고 암시적 추론을 가능하게 하기 위해.
• 실제 과학 분야인 입자물리학과 천체물리학에서 베이지안 및 빈도주의 추론 프레임워크를 모두 활용하여 접근법을 검증하기 위해.

제안 방법

• 이벤트 집합의 순열에 대한 불변 표현을 모델링하기 위해 딥 세트 아키텍처를 사용하여 가변 크기의 데이터셋에 대한 동시 추론을 가능하게 한다.
• 글로벌 및 로컬 매개변수에 대한 암시적 사후 추정기로 노멀라이징 플로우를 활용하며, 전체 데이터셋에 조건부 공유 임bedding을 사용한다.
• 빈도주의 설정에서는 계층적 우도 비율 추정기를 적용하며, 전반적인 매개변수를 변형시킨 시뮬레이션 데이터셋을 기반으로 이진 분류로 훈련한다.
• 집합 수준의 인코더와 이벤트 수준의 인코더를 통합: 첫 번째 인코더는 이벤트 수준 특징을 집계하여 글로벌 매개변수를 추정하고, 두 번째 인코더는 개별 이벤트 데이터를 인코딩한다.
• 글로벌 및 로컬 노멀라이징 플로우의 로그우도를 결합한 공동 최적화 목표함수를 사용하여 엔드 투 엔드 모델을 훈련한다.
• 이벤트 집합의 수에 따라 글로벌 디코더를 조건화하여 다양한 크기의 데이터셋 간의 일반화를 가능하게 하며, 데이터셋의 기수를 다양하게 지원한다.

실험 결과

연구 질문

• RQ1 이벤트 집합의 계층적 구조를 고려한 데이터셋 전체 추론이 개별 이벤트 추론보다 더 날카운 매개변수 제약을 가능하게 하는가?
• RQ2 가변 크기의 이벤트 집합을 처리하면서도 통계적 효율성과 확장성을 유지할 수 있도록 시뮬레이션 기반 추론을 어떻게 적응시킬 수 있는가?
• RQ3 우도가 가능성이 없을 때 신경 추정기(우도 비율 또는 사후 분포)가 전통적인 MCMC 방법보다 속도와 정확도 측면에서 얼마나 뛰어나게 성능을 내는가?
• RQ4 제안된 프레임워크는 새로운 이벤트가 도착함에 따라 후행 분포 추정을 점진적으로 업데이트할 수 있는 스트리밍 데이터 환경에서 실시간 추론을 지원할 수 있는가?
• RQ5 입자 충돌기 데이터와 중력 렌즈 현상과 같은 실제 물리 과학 문제에서 기존의 SBI 기법과 비교해 제안된 방법은 성능 측면에서 어떻게 다른가?

주요 결과

• 제안된 계층적 신경 시뮬레이션 기반 추론 프레임워크는 우도가 가능할 경우조차도 암시적 학습과 엔드 투 엔드 훈련 덕분에 MCMC보다 훨씬 더 빠른 추론을 달성한다.
• 글로벌 및 로컬 매개변수의 계층적 구조를 명시적으로 모델링함으로써 개별적으로 이벤트를 다룰 때보다 더 날카운 사후 분포 제약과 향상된 추론 정확도를 달성한다.
• 스트리밍 모드에서 실시간 추론을 지원하여 전체 데이터셋을 다시 처리하지 않고도 새로운 데이터 도착 시 효율적인 사후 분포 업데이트를 가능하게 한다.
• 입자물리학 사례 연구에서 딥 세트를 통해 훈련된 빈도주의 우도 비율 추정기는 최소한의 校정으로 높은 통계적 검정력을 확보하며, 표준 프로파일 우도 접근법을 능가했다.
• 강한 중력 렌즈에 대한 천체물리학 사례 연구에서 노멀라이징 플로우 기반 사후 추정기는 노이즈가 많고 복잡한 이미지 데이터 조건에서도 글로벌 매개변수(α, β)와 로컬 이미지 매개변수(θ_E, Δx, Δy, q)를 고정밀도로 정확히 복원했다.
• 훈련 데이터셋의 크기가 다른 다양한 집합에서 훈련한 결과, 테스트 세트에서 일관된 성능을 보이며 다양한 기수의 데이터셋 간 일반화 능력을 입증했다.