[論文レビュー] The Waves and the Sigmas (To Say Nothing of the 750 GeV Mirage)

G. D’Agostini|arXiv (Cornell University)|Sep 6, 2016

Gamma-ray bursts and supernovae参考文献 23被引用数 5

ひとこと要約

この論文は、素粒子物理学および重力波物理学で一般的に使われるp値とシグマ閾値が、特に証拠が強くても統計的にわずかな場合に、真の信号の重要性を過小評価する可能性があると主張している。LIGOの1.7σのLVT151012イベントを事例として、その低さにもかかわらずベイズ因子が約10^10に達することを示し、二重ブラックホール合体の証拠が極めて強いことを示している。これは、科学的主張を評価する際、頻度主義的p値に比べてベイズ的証拠が優れていることを示している。

ABSTRACT

This paper shows how p-values do not only create, as well known, wrong expectations in the case of flukes, but they might also dramatically diminish the `significance' of most likely genuine signals. As real life examples, the 2015 first detections of gravitational waves are discussed. The March 2016 statement of the American Statistical Association, warning scientists about interpretation and misuse of p-values, is also reminded and commented. (The paper is complemented with some remarks on past, recent and future claims of discoveries based on sigmas from Particles Physics.)

研究の動機と目的

• 高エネルギー物理学および重力波物理学におけるp値とシグマ閾値への従来の依存を挑戦し、真の信号の強さを誤って表現する可能性があることを示すこと。
• データが物理的仮説を強く支持する場合、低シグマの信号であっても、ベイズ的証拠が極めて強い場合があることを示すこと。
• p値やシグマレベルではなく、ベイズ因子を重力波候補の重要性を評価する主な指標として採用すべきであることを提唱すること。
• 750 GeVの過剰とLIGOのLVT151012を含む実際の例を用いて、頻度主義的有意水準とベイズ的証拠の乖離を説明すること。

提案手法

• 二つの仮説（'二重ブラックホール合体' 対 'ノイズ'）の下での周辺尤度の比としてベイズ因子（BF）を計算するベイズ推論を用いる。
• ベイズの定理のオッズ形式：後方オッズ = ベイズ因子 × 事前オッズ を用い、証拠が信念をどのように更新するかを定量化する。
• 1.7σの有意水準しか持たないが、ベイズ因子が約10^10に達する重力波候補LVT151012を分析し、二重ブラックホール合体の証拠が極めて強いことを示す。
• ベイズネットワークを用いて複数の重力波イベント間の相関をモデル化し、事前信念が相互に裏付け合うことでどのように更新されるかを示す。
• 750 GeVの二光子過剰とLIGOのイベントを比較し、そのベイズ因子は仮定されたモデルに依存するが、一般的なモデルでは弱い（BF ~10）と判明する。
• 特にモデル比較における「オッカムの剃刀」効果を通じて、モデルのパラメータの事前分布がベイズ因子に与える影響を強調する。

実験結果

リサーチクエスチョン

• RQ1 なぜ1.7σの重力波候補LVT151012は、p値が低くても、依然として極めて強い証拠を示すことができるのか？
• RQ2 実験物理学において、p値やシグマレベルに比べて、ベイズ因子がなぜより正確な証拠の尺度となるのか？
• RQ3 相関する複数の重力波イベントは、事前分布の更新を通じて、どの程度お互いの信頼性を強化し合うのか？
• RQ4 750 GeVの二光子過剰のベイズ因子は何か？また、仮定された新物理モデルにどのように依存するか？
• RQ5 なぜ物理学界はシグマベースの発見宣言から、ベイズ因子ベースの証拠評価に移行すべきなのか？

主な発見

• 1.7σの有意水準しか持たない重力波候補LVT151012は、約10^10のベイズ因子を示し、二重ブラックホール合体の証拠として極めて強いものであることが判明した。
• 750 GeVの二光子過剰のベイズ因子はモデルに依存するが、一般的なモデルでは約10と推定され、弱い証拠にとどまり、懐疑論者を納得させるには不十分である。
• 仮説の後方オッズは、ベイズ因子と事前オッズの積によって決定され、たとえ事前確信がやや弱くても、中程度の証拠があれば強い後方信念に至る可能性がある。
• 互いに裏付け合う重力波イベントは、繰り返し観測によるものだけでなく、後続の分析における更新されたより明確な事前分布を通しても、お互いの信頼性を高める。
• この論文は、ベイズ因子が重力波検出における主な指標としてシグマレベルに取って代わるべきだと主張している。なぜなら、ベイズ因子は証拠の実際の重みをよりよく反映しているからである。
• 著者らは、LVT151012イベントはその後GW151012にアップグレードされたと指摘しており、科学界がp値の閾値を超えてその重要性を認識していることを示唆している。