[論文レビュー] Probably a discovery: Bad mathematics means rough scientific communication

G. D’Agostini|arXiv (Cornell University)|Dec 15, 2011

Statistics Education and Methodologies参考文献 8被引用数 7

ひとこと要約

この論文は、科学的コミュニケーションにおける統計的推論の誤用、特にp値や頻度主義的検定を仮説の確率として誤解することの問題を批判している。ベイズ的推論—事前の知識と証拠を用いて信念を更新すること—が正確な科学的解釈に不可欠であると主張し、誤った情報の拡散を防ぐために、不確実性をより明確かつ誠実に伝える必要があると提言している。

ABSTRACT

According to the media, in spring of this year the experiment CDF at Fermilab has made most likely ("this result has a 99.7 percent chance of being correct", Discovery News) a great discovery ("the most significant in physics in half a century", NYT). However, since the very beginning, practically all particle physics experts did not believe that was the case. This is the last of a quite long series of fake claims based on trivial mistakes in the probabilistic reasoning. The main purpose of this note is to invite everybody, but especially journalists and general public, most times innocent victims of misinformation of this kind, to mistrust claims not explicitly reported in terms of how much we should believe something, under well stated conditions and assumptions. (A last minute appendix has been added, with comments on the recent news concerning the Higgs at LHC.)

研究の動機と目的

• 誤った確率的推論が、特に高名の素粒子物理学の結果において、誤った科学的主張を生じることを暴露すること。
• p値と仮説が真である確率との間の広範な誤解を強調すること、これは科学的報道における一般的な誤りである。
• 科学的推論とコミュニケーションのより正確で透明性のあるフレームワークとして、ベイズ的手法の導入を提唱すること。
• ジャーナリスト、研究者、一般大衆が科学報道における誤った統計的主張を認識し、拒否するのを支援すること。
• p値や信頼区間ではなく、事前信念とベイズ因子に焦点を当てることで、科学的不確実性のより明確な伝達を促進すること。

提案手法

• フェルミラブのCDF実験やヒッグス粒子の探索といった事例を用いて、一般的な統計的誤りを説明する。
• 事前確率と尤度を用いて、新しいデータに応じて信念をどのように更新すべきかをベイズ的推論で示す。
• 頻度主義的p値とベイズ的後確率を対比させ、p値がなぜ仮説が真である確率として誤って解釈されるのかを示す。
• ベイズ因子という証拠の尺度を導入し、p値とは異なるものとして、データが競合仮説間の信念をどの程度シフトさせるかを定量化する。
• 定性的なベイズ的更新に基づく科学的コミュニケーションのフレームワークを提言する：事前妥当性、データの影響（ベイズ因子）、後確率。
• p値や信頼区間に依存するのではなく、科学者が仮説にどの程度確信を持っているかを直接質問することを提言する。

実験結果

リサーチクエスチョン

• RQ1 なぜp値が頻繁に科学的結果の誤った解釈を引き起こすのか、特に高影響力の主張においては？
• RQ2 頻度主義的統計の誤用が、一般大衆が科学的発見を理解するのを妨げるのはどのような仕組みか？
• RQ3 事前信念は、実験データの正しい解釈において果たす役割は何か？なぜ科学的報道ではしばしば無視されるのか？
• RQ4 ベイズ的推論は、一般の人々にとっての科学的コミュニケーションの明確さと誠実さをどのように向上させられるか？
• RQ5 p値を仮説が真である確率だとみなすと、どのような結果が生じるのか？

主な発見

• CDF実験が「正しくある確率が99.7％」だと主張したのは、p値が仮説が真である確率を測定しないことから、統計的誤解である。
• 仮説のもとでのデータの確率（例：p値）を、仮説のもとでのデータの確率と誤解することは、科学的および一般大衆の理解を歪める。
• ガウス分布生成器が3.000（四捨五入）の値を生成する確率は4.2×10⁻⁶であるが、この値が統計的ゆらぎである確率が同様に4.2×10⁻⁶であるとは限らない。
• 帰無仮説のもとで極端なデータが観測される確率を、帰無仮説が真である確率と混同することは、統計的推論における根本的な誤りである。
• 科学的報道におけるp値や信頼区間の使用は、不確実性を隠蔽し、ジャーナリストや一般大衆を誤解させることがある。
• 事前妥当性とベイズ因子に基づいて科学的主張を再構成することで、科学的不確実性のより誠実で透明な伝達が可能になる。