[논문 리뷰] Bayesian vs Frequentist: Comparing Bayesian model selection with a frequentist approach using the iterative smoothing method

Hanwool Koo, Ryan E. Keeley외 2명|arXiv (Cornell University)|2021. 10. 21.

Gamma-ray bursts and supernovae참고 문헌 37인용 수 10

한 줄 요약

이 논문은 베이지안 증거에 의존하지 않고, Type Ia 초신성 데이터와의 모델 일관성 여부를 평가하기 위해 반복적 스무딩을 사용하는 최빈수 모델 선택 방법을 제안한다. 스무딩된 우도에서 유도된 $\Delta\chi^2$의 분포를 분석함으로써, 모든 후보 모델이 잘못되었을 경우조차도 개별 모델을 기각할 수 있으며, 항상 가장 덜 잘못된 모델을 선택하는 베이지안 방법보다 뛰어난 성능을 보인다. 1000개의 가짜 로만 우주망원경 데이터셋 중 79.3%에서 $\Lambda$CDM와 PEDE 모델이 99% 신뢰수준에서 기각되었으며, 베이지안 방법은 가장 잘 맞는 잘못된 모델을 결코 기각하지 않았다.

ABSTRACT

We have developed a frequentist approach for model selection which determines the consistency between any cosmological model and the data using the distribution of likelihoods from the iterative smoothing method. Using this approach, we have shown how confidently we can conclude whether the data support any given model without comparison to a different one. In this current work, we compare our approach with the conventional Bayesian approach based on the estimation of the Bayesian evidence using nested sampling. We use simulated future Roman (formerly WFIRST)-like type Ia supernovae data in our analysis. We discuss the limits of the Bayesian approach for model selection and show how our proposed frequentist approach can perform better in the falsification of individual models. Namely, if the true model is among the candidates being tested in the Bayesian approach, that approach can select the correct model. If all of the options are false, then the Bayesian approach will select merely the least incorrect one. Our approach is designed for such a case and we can conclude that all of the models are false.

연구 동기 및 목표

• 모든 모델이 잘못되었을 경우에도 베이지안 모델 선택이 잘못된 모델을 기각하지 못하는 한계를 해결하기 위해.
• 다른 모델들에 영향을 받지 않고 각 우주론적 모델이 데이터와 얼마나 일관되는지 독립적으로 평가할 수 있는 모델에 의존하지 않는 최빈수 접근법을 개발하기 위해.
• 반복적 스무딩 방법이 진정한 모델에 대한 사전 지식 없이도 절대적인 모델 기각을 가능하게 한다는 것을 보여주기 위해.
• 미래의 로만 우주망원경 SN Ia 데이터가 잘못된 모델을 식별하고 기각하는 데 있어 통계적 능력을 예측하기 위해.

제안 방법

• SN Ia 데이터로부터 비모수적이고 모델에 의존하지 않는 방식으로 거리 모듈러스를 반복적 스무딩 방법을 사용해 재구성한다.
• $\Delta\chi^2 = \chi^2_{\text{smooth}} - \chi^2_{\text{best-fit}}$를 계산하여 스무딩으로 인한 과적합 정도를 정량화하고, 우도 분포를 형성한다.
• $\Delta\chi^2$의 분포를 사용하여 모델 일관성에 대한 95% 및 99% 신뢰구간을 정의한다.
• 이 구간을 활용해 주어진 모델(예: $\Lambda$CDM 또는 PEDE)이 다른 모델들과 독립적으로 데이터와 일치하는지 테스트한다.
• 모델 비교를 위한 내재된 샘플링과 캐스-래프터리 척도를 사용한 베이지안 증거와 결과를 비교한다.
• 기준 TDE 모델을 바탕으로 한 1000개의 가짜 로만 우주망원경 유사 SN Ia 데이터 실현을 사용하여 통계적 성능을 평가한다.

실험 결과

연구 질문

• RQ1 반복적 스무딩에 기반한 최빈수 접근법은 모든 후보 모델이 잘못되었을 경우에도 개별 우주론적 모델을 기각할 수 있는가?
• RQ2 이 최빈수 방법의 성능은 잘못된 모델을 기각하는 데 있어 베이지안 증거와 비교해 어떻게 다른가?
• RQ3 미래의 로만 우주망원경 SN Ia 데이터는 $\Lambda$CDM와 PEDE와 같은 대체 어둠의 에너지 모델을 어느 정도로 구별할 수 있는가?
• RQ4 반복적 스무딩 방법은 모델 비교 없이도 모델 일관성에 대한 모델에 의존하지 않는 신뢰구간을 제공할 수 있는가?
• RQ5 진정한 모델이 후보 목록에 포함되지 않았을 경우, 최빈수 접근법은 가장 덜 잘못된 모델을 선택하는 편향을 피할 수 있는가?

주요 결과

• 1000개의 가짜 로만 데이터셋 중 79.3%에서 최빈수 반복적 스무딩 방법을 사용해 $\Lambda$CDM와 PEDE 모델이 모두 99% 신뢰수준에서 기각되었다.
• 91.6%의 데이터셋에서 두 모델이 모두 95% 신뢰수준에서 기각되었으며, 이는 잘못된 모델을 강력하게 기각할 수 있는 능력을 보여준다.
• 베이지안 증거 접근법은 1000개의 실현 모두에서 $\Lambda$CDM를 기각하지 않았으며, 진짜 모델이 다른 TDE 모델이었을 경우에도 마찬가지였다.
• 최빈수 방법은 99% 신뢰수준에서 19.3%의 경우와 95% 신뢰수준에서 8.2%의 경우에서 $\Lambda$CDM가 PEDE보다 더 일관성이 높다는 것을 정확히 식별했으며, 이는 데이터 생성 모델과 일치한다.
• 최빈수 방법은 $\Lambda$CDM를 기각하면서 PEDE를 수용한 경우가 전혀 없었으며, 이는 모델 기각의 강건성을 확인한다.
• 베이지안 접근법은 항상 $\Lambda$CDM를 PEDE보다 선호했으며, $\Delta\log Z \geq 2$ (긍정적에서 강력한 증거)였지만, 진짜 모델이 $\Lambda$CDM가 아닐 경우에도 $\Lambda$CDM를 기각하지 못했다.