[논문 리뷰] Marginal Bayesian Statistics Using Masked Autoregressive Flows and Kernel Density Estimators with Examples in Cosmology

H. T. J. Bevins, Will Handley외 4명|arXiv (Cornell University)|2022. 07. 23.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 막힌 자동회귀 흐름과 커널 밀도 추정기를 사용하여 천체물리 실험들 간의 베이지안 제약 조건을 계산적으로 효율적으로 조합하는 방법을 제안한다. 천체물리 모수 공간에서의 주변 사후 분포를 추정하고 전체 내포 샘플링에서 재사용된 증거를 활용함으로써, 전체 차원의 추론과 동일한 결과를 얻으면서도 최대 319배 빠른 성능을 달성한다. 이는 플랑크 및 DES 데이터에서 검증되었으며, 증거 및 KL 발산 값이 일관되게 유지된다.

ABSTRACT

Cosmological experiments often employ Bayesian workflows to derive constraints on cosmological and astrophysical parameters from their data. It has been shown that these constraints can be combined across different probes such as Planck and the Dark Energy Survey and that this can be a valuable exercise to improve our understanding of the universe and quantify tension between multiple experiments. However, these experiments are typically plagued by differing systematics, instrumental effects and contaminating signals, which we collectively refer to as `nuisance' components, that have to be modelled alongside target signals of interest. This leads to high dimensional parameter spaces, especially when combining data sets, with > 20 dimensions of which only around 5 correspond to key physical quantities. We present a means by which to combine constraints from different data sets in a computationally efficient manner by generating rapid, reusable and reliable marginal probability density estimators, giving us access to nuisance-free likelihoods. This is possible through the unique combination of nested sampling, which gives us access to Bayesian evidences, and the marginal Bayesian statistics code MARGARINE. Our method is lossless in the signal parameters, resulting in the same posterior distributions as would be found from a full nested sampling run over all nuisance parameters, and typically quicker than evaluating full likelihoods. We demonstrate our approach by applying it to the combination of posteriors from the Dark Energy Survey and Planck.

연구 동기 및 목표

• 다양한 부수적 변수를 가진 여러 실험들 간에 고차원 천체물리 사후 분포를 조합하는 데 따르는 계산적 부담을 해결하기 위해.
• 부수적 성분을 제거하면서도 천체물리 모수에 대한 전체 정보를 유지하는 방법을 개발하기 위해.
• 후속 모델 비교 및 증거 계산을 위한 효율적이고 재사용 가능하며 신뢰할 수 있는 주변 사후 밀도 추정을 가능하게 하기 위해.
• 주변 밀도 추정을 통해 얻은 결과와 사전에 계산된 증거를 조합하면, 모든 모수에 대한 전체 내포 샘플링과 동일한 결과를 얻을 수 있는가를 입증하기 위해.

제안 방법

• 이 방법은 margarine 코드를 사용하여 천체물리 모수의 주변 사후 샘플에 대해 정규화 흐름과 커널 밀도 추정기를 훈련시켜 고차원 모수 공간을 효과적으로 압축한다.
• 전체 내포 샘플링 런에서 사전에 계산된 베이지안 증거를 활용하여 부수적 모수에 대한 비용이 많이 드는 가능도 평가를 반복하지 않도록 한다.
• 샘플이 $\mathcal{P}(\theta,\alpha)$에서 유래된 점을 사용하여 $\theta$에 대해서만 밀도 추정을 통해 주변 사후 분포 $\mathcal{P}(\theta)$를 추정함으로써 부수적 요소가 없는 가능도를 정의한다.
• Kullback-Leibler 발산을 사용하여 주변 사후 분포 간의 차이를 정량화하여, 전체 모수 공간 샘플링 없이도 모델 비교가 가능하게 한다.
• 전체 내포 샘플링에서와 동일한 정확한 주변 사후 분포와 총 증거를 유지함으로써 손실 없는 추론을 보장한다.
• margarine 밀도 추정기를 anesthetic 코드와 결합하여 병합된 데이터 세트에 대한 공동 증거와 KL 발산을 계산한다.

실험 결과

연구 질문

• RQ1 정규화 흐름과 커널 밀도 추정기를 사용한 주변 사후 밀도 추정은 부수적 변수를 제거하면서도 천체물리 모수의 전체 정보 내용을 유지할 수 있는가?
• RQ2 다른 실험들 간의 주변 사후 분포를 밀도 추정기를 통해 조합하는 것이 모든 모수에 대한 전체 내포 샘플링과 동일한가?
• RQ3 천체물리 추론에서 모수 공간의 차원을 41에서 6으로 줄임으로써 얼마나 많은 계산적 속도 향상을 기대할 수 있는가?
• RQ4 이 방법은 플랑크 및 DES에 대해 기존 문헌 결과와 일관된 베이지안 증거와 KL 발산 값을 생성할 수 있는가?
• RQ5 이 프레임워크는 향후 데이터 조합을 위한 천체물리 밀도 추정기의 재사용 가능한 라이브러리로 일반화될 수 있는가?

주요 결과

• 이 방법은 모든 모수에 대한 전체 내포 샘플링 런과 동일한 주변 사후 분포와 총 베이지안 증거를 달성하여 손실 없는 추론을 확인한다.
• 모수 차원을 41에서 6으로 줄임으로써 내포 샘플링의 차원에 따라 입체적 스케일링이 일어나는 점을 감안할 때, 약 319배의 계산 속도 향상을 기대할 수 있다.
• 주변 방법을 사용하여 계산된 공동 베이지안 증거와 KL 발산은 Handley와 Lemos(2019)의 발표된 결과와 일치한다.
• margarine를 통한 모의 가능도 사용은 분석 가능도보다 각 가능도 평가에 소요되는 시간을 줄여 프로세스를 더욱 가속화한다.
• 이 방법은 향후 데이터 조합을 위한 주변 밀도 추정기의 효율적 재사용을 가능하게 하여, 향후 천체물리 밀도 추정기의 공개 라이브러리 구축에 기여한다.
• 이 방법은 강건하고 일반화 가능하며, 천체물리학을 넘어서 동일한 기본 물리 법칙을 탐구하는 여러 실험의 결과를 조합하는 데도 응용 가능성이 있다.