[論文レビュー] Bayesian vs Frequentist: Comparing Bayesian model selection with a frequentist approach using the iterative smoothing method

Hanwool Koo, Ryan E. Keeley+2 more|arXiv (Cornell University)|Oct 21, 2021

Gamma-ray bursts and supernovae参考文献 37被引用数 10

ひとこと要約

本稿では、ベイズ的証拠に依存せずに、Ia型超新星データに対するモデルの一貫性を評価するための頻度主義的モデル選択手法を提案する。繰り返し平滑化を用いることで、$Δ\chi^2$ の分布を分析し、すべての候補モデルが誤りである場合ですら個々のモデルを否定できる。これは、常に最も誤差の小さいモデルを選択するベイズ的手法よりも優れている。1000個の模擬ローマ宇宙望遠鏡データセットのうち79.3%において、$Λ$CDMおよびPEDEモデルは99%信頼水準で除外されたが、ベイズ的手法では、最良適合の誤ったモデルを一切除外しなかった。

ABSTRACT

We have developed a frequentist approach for model selection which determines the consistency between any cosmological model and the data using the distribution of likelihoods from the iterative smoothing method. Using this approach, we have shown how confidently we can conclude whether the data support any given model without comparison to a different one. In this current work, we compare our approach with the conventional Bayesian approach based on the estimation of the Bayesian evidence using nested sampling. We use simulated future Roman (formerly WFIRST)-like type Ia supernovae data in our analysis. We discuss the limits of the Bayesian approach for model selection and show how our proposed frequentist approach can perform better in the falsification of individual models. Namely, if the true model is among the candidates being tested in the Bayesian approach, that approach can select the correct model. If all of the options are false, then the Bayesian approach will select merely the least incorrect one. Our approach is designed for such a case and we can conclude that all of the models are false.

研究の動機と目的

• ベイズ的モデル選択が、どれも正しくない場合に誤ったモデルを否定できないという限界を解消すること。
• 他のモデルに依存せずに、各宇宙論的モデルがデータと一貫しているかどうかを独立して評価する、モデルに依存しない頻度主義的手法を開発すること。
• 繰り返し平滑化法が、真のモデルの事前知識がなくても、絶対的なモデル否定を可能にすることを示すこと。
• 将来のローマ宇宙望遠鏡のIa型超新星データが、誤ったモデルを区別し、除外する統計的パワーを予測すること。

提案手法

• Ia型超新星データから、非パラメトリックかつモデルに依存しない方法で距離モジュラスを再構築するために、繰り返し平滑化法を用いる。
• $\Delta\chi^2 = \chi^2_{\text{smooth}} - \chi^2_{\text{best-fit}}$ を計算し、平滑化による過剰適合を定量化し、尤度分布を形成する。
• $\Delta\chi^2$ の分布を用いて、モデルの一貫性に関する95%および99%信頼限界を定義する。
• これらの限界を用いて、特定のモデル（例：$Λ$CDM または PEDE）がデータと一貫しているかどうかを、他のモデルに依存せずにテストする。
• ネストド・サブセット法とKass-Raftery尺度を用いて、ベイズ的証拠と比較する。
• 基準TDEモデルに基づく、1000個の模擬ローマ宇宙望遠鏡に類似したIa型超新星データの実現を用いて、統計的性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 すべての候補モデルが誤りである場合でも、繰り返し平滑化に基づく頻度主義的手法が、個々の宇宙論的モデルを否定できるか？
• RQ2 この頻度主義的手法の性能は、誤ったモデルを除外するという点で、ベイズ的証拠と比べてどうか？
• RQ3 将来のローマ宇宙望遠鏡のIa型超新星データは、$Λ$CDMとPEDEのような代替ダークエネルギーモデルをどの程度区別できるか？
• RQ4 繰り返し平滑化法は、モデル比較を要せず、モデルの一貫性に関するモデルに依存しない信頼区間を提供できるか？
• RQ5 真のモデルが候補に含まれない場合でも、頻度主義的手法は、最も誤差の小さいモデルを選択するバイアスを回避できるか？

主な発見

• 1000個の模擬ローマデータセットのうち79.3%において、頻度主義的繰り返し平滑化法を用いて、$Λ$CDMおよびPEDEモデルが99%信頼水準で除外された。
• 91.6%のデータセットにおいて、両モデルが95%信頼水準で除外された。これは、誤ったモデルを強力に否定できる能力を示している。
• ベイズ的証拠アプローチでは、1000の実現のいずれにおいても$Λ$CDMが除外されず、真のモデルが別のTDEモデルであった場合でも同様であった。
• 頻度主義的手法では、99%信頼水準で19.3%のケース、95%信頼水準で8.2%のケースにおいて、$Λ$CDMがPEDEよりも一貫性が高いと正しく特定した。これは、データ生成モデルと整合していた。
• 頻度主義的手法では、$Λ$CDMが除外されながらPEDEが受け入れられるケースは一切なく、モデル否定の堅牢性を確認した。
• ベイズ的アプローチでは、常に$Λ$CDMがPEDEよりも優れており、$\Delta\log Z \geq 2$（肯定的から強い証拠）であったが、$Λ$CDMが真のモデルでない場合でも、それを誤ったモデルとして除外できなかった。