[논문 리뷰] Comparing Bayes factors and hierarchical inference for testing general relativity with gravitational waves

M. Isi, Will M. Farr외 1명|arXiv (Cornell University)|2022. 04. 22.

Pulsars and Gravitational Waves Research참고 문헌 53인용 수 25

한 줄 요약

이 논문은 다수의 중력파 사건에서의 베이즈 요인을 단순 곱하기 방식으로 조합할 경우, 특히 우연한 사전 분포 선택에 매우 민감하여, 우연한 가능도 지원이 없는 매개변수 공간 영역에서 오해의 소지가 있는 결론을 이끌 수 있음을 보여준다. 반면, 일반 상대성 이론에서의 편차 분포를 인구집단 분포로 모델링하는 계층적 추론은 사전 분포의 폭에 관계없이 항상 정확한 결론으로 수렴하는 더 견고하고 신뢰할 수 있는 방법을 제공한다. 이는 곱셈 방식의 베이즈 요인에서 발생하는 함정을 피한다.

ABSTRACT

In the context of testing general relativity with gravitational waves, constraints obtained with multiple events are typically combined either through a hierarchical formalism or though a combined multiplicative Bayes factor. We show that the well-known dependence of Bayes factors on the analysis priors in regions of the parameter space without likelihood support can lead to strong confidence in favor of incorrect conclusions when one employs the multiplicative Bayes factor. Bayes factors $\mathcal{O}(1)$ are ambivalent as they depend sensitively on the analysis priors, which are rarely set in a principled way; additionally, combined Bayes factors $>\mathcal{O}(10^3)$ can be obtained in favor of the incorrect conclusion depending on the analysis priors when many $\mathcal{O}(1)$ Bayes factors are multiplied, and specifically when the priors are much wider than the underlying population. The hierarchical analysis that instead infers the ensemble distribution of the individual beyond-general-relativity constraints does not suffer from this problem, and generically converges to favor the correct conclusion. Rather than a naive multiplication, a more reliable Bayes factor can be computed from the hierarchical analysis. We present a number of toy models showing that the practice of multiplying Bayes Factors can lead to incorrect conclusions.

연구 동기 및 목표

• 다수의 중력파 사건 제약 조건을 곱셈 방식의 베이즈 요인으로 조합할 때의 신뢰성을 조사하는 것.
• 곱셈 방식의 베이즈 요인의 핵심 결함을 특정화하는 것: 가능도 지원이 없는 매개변수 공간 영역에서 비정보성 사전 분포에 대한 극도로 민감한 성향.
• 일반 상대성 이론에서의 편차 분포의 인구집단 분포를 모델링하는 계층적 추론이 이 문제를 피할 수 있음을 보여주는 것.
• 다양한 사건에 대한 일반 상대성 이론 검증을 위한 더 체계적이고 견고한 대안으로 계층적 모델링이 제공되는 방식을 보여주는 것.
• 비정보성 사전 분포 선택으로 인해 잘못된 가설을 지나치게 지지하는 곱셈 방식의 베이즈 요인의 작동 방식을 보여주는 구체적인 토이 모델 제공.

제안 방법

• 실제 진실 분포가 알려진 토이 모델을 사용하여 다수의 중력파 탐지 시뮬레이션.
• 개별 사건에서의 곱셈 방식의 베이즈 요인(BF)과 일반 상대성 이론을 초월한 매개변수의 인구집단 분포를 추론하는 계층적 모델을 비교.
• 편차의 인구집단 분포를 모델링하기 위해 가우시안 모멘트 전개를 적용하며, 평균 μ와 표준편차 σpop를 초모수로 사용.
• 계층적 베이지안 추론을 통해 데이터로부터 μ와 σpop를 추정하며, 인구집단 분포를 관측에 적응하는 사전 분포로 간주.
• 증가하는 사건 수에 따른 곱셈 방식 BF의 척도 행동 분석을 통해 고정된 넓은 사전 분포에 대한 의존도를 보여줌.
• 비정보성 사전 분포일지라도 계층적 사후분포는 항상 정확한 결론으로 수렴하는 반면, 곱셈 방식의 BF는 임의로 편향될 수 있음을 입증.

실험 결과

연구 질문

• RQ1 비정보성 사전 분포가 넓게 설정되어 있을 경우, 다수의 중력파 사건에서의 베이즈 요인을 단순 곱하기 방식으로 조합할 때 잘못된 결론을 이끌 수 있는가?
• RQ2 비정보성 또는 넓은 사전 분포가 설정된 경우, 곱셈 방식의 베이즈 요인 성능은 사건 수가 증가함에 따라 어떻게 변화하는가?
• RQ3 일반 상대성 이론에서의 편차 분포의 인구집단 분포를 모델링하는 계층적 추론은 곱셈 방식의 베이즈 요인에서 관찰되는 사전 의존적 편향을 피할 수 있는가?
• RQ4 개별 사건 제약 조건이 애매할 경우에도 계층적 모델링은 진정한 기반 매개변수 분포를 신뢰성 있게 복원할 수 있는가?
• RQ5 통제된 토이 시나리오에서 곱셈 방식의 베이즈 요인과 계층적 모델 간의 추론 신뢰성 차이를 정량적으로 분석할 수 있는가?

주요 결과

• 진짜 인구집단보다 훨씬 넓은 사전 분포를 사용할 경우, 조건이 O(1)인 개별 BF가 다수 존재하더라도 곱셈 방식의 베이즈 요인은 잘못된 편차에 대해 O(10^3) 수준의 강력한 지지를 보일 수 있다.
• O(1) 수준의 베이즈 요인은 본질적으로 모호하며, 가능도 지원이 없는 매개변수 공간 영역에서 사전 설정에 매우 민감하다.
• 계층적 추론은 데이터로부터 인구집단 분포를 학습함으로써 항상 정확한 결론으로 수렴하며, 곱셈 방식의 베이즈 요인에서 발생하는 사전 유도 편향을 피한다.
• 계층적 접근은 각 사건 간의 동일하거나 독립적인 편차를 가정하지 않기 때문에, 여러 사건의 증거를 조합하는 데 더 신뢰할 수 있고 체계적인 방법을 제공한다.
• 모든 테스트된 토이 모델에서 비정보성 사전 분포일 경우 곱셈 방식의 BF는 오해의 소지가 있었고, 반면 계층적 추론은 진짜 기반 모델을 정확히 식별했다.
• 이 연구는 곱셈 방식의 베이즈 요인에 대해 사전 선택이 지배적인 영향을 미치는 반면, 계층적 모델은 데이터 적응형 초모수를 통해 사전 가정에 대해 강건함을 보여준다.