[論文レビュー] Significance tests and sample homogeneity loophole

Marian Kupczyński|arXiv (Cornell University)|May 23, 2015

Quantum Mechanics and Applications参考文献 14被引用数 4

ひとこと要約

この論文は、特に量子物理学の実験において、有意性検定が「サンプル均質性のすきま」—すなわち、データのサンプルが一貫しており代表的であるかどうかの確認がなされない—ことによって損なわれていると主張している。著者は、均質性の厳密な検証がなければ、ベル型不等式の破れのような統計的に有意な結果ですら信頼できず、結果の妥当性を保証するためにはこのすきまを埋めるべきだと述べている。

ABSTRACT

In their recent comment, published in Nature, Jeffrey T.Leek and Roger D.Peng discuss how P-values are widely abused in null hypothesis significance testing . We agree completely with them and in this short comment we discuss the importance of sample homogeneity tests. No matter with how much scrutiny data are gathered if homogeneity tests are not performed the significance tests suffer from sample homogeneity loophole and the results may not be trusted. For example sample homogeneity loophole was not closed in the experiment testing local realism in which a significant violation of Eberhard inequality was found. We are not surprised that Bell type inequalities are violated since if the contextual character of quantum observables is properly taken into account these inequalities cannot be proven. However in order to trust the significance of the violation sample homogeneity loophole must be closed. Therefore we repeat after Jeffrey T.Leek and Roger D.Peng that sample homogeneity loophole is probably just the tip of the iceberg.

研究の動機と目的

• 有意性検定におけるサンプル均質性の重要性が、しばしば軽視されているが、その役割を強調すること。
• 均質性の検証が行われない場合、p値が低くても統計的結果の妥当性が損なわれるという主張。
• Eberhardの不等式を用いた局所実在論の実験を事例として、サンプル均質性のすきまが閉じられていなかったことを示すこと。
• このすきまが、科学分野全体における統計的実践の背後にあるより深刻な問題の兆候であることを強調すること。
• 有意性検定手順において、均質性検定を標準的な要件として統合するよう提言すること。

提案手法

• 有意性検定の前段階として、既存の統計的手法を用いてサンプル均質性を検証することを提言する。
• 特に量子基礎研究における実験データにおいて、サンプル均質性を無視した場合の影響を分析する。
• Eberhardの不等式の破れ実験を事例として、未検証のサンプル均質性がもたらす結果を説明する。
• 量子観測の文脈依存性が認められるならば、ベル型不等式の破れは驚くにあたらないが、均質性の確認がなければ有意性は疑わしいと主張する。
• p値に依存する前に、データ品質の体系的評価の必要性を強調する。
• 有意性検定の前提として均質性検定を組み込む統計的実践のパラダイム転換を求める。

実験結果

リサーチクエスチョン

• RQ1 p値が統計的に有意であっても、有意性検定がなぜ信頼できないまま残っているのか。
• RQ2 サンプル均質性が、量子物理学の実験における統計的結論の妥当性をどのように損なうのか。
• RQ3 Eberhardの不等式の破れにおいて、サンプル均質性のすきまが閉じられなかったことで、解釈にどのような影響を与えたのか。
• RQ4 サンプル均質性のすきまが、統計的手法におけるより広範な欠陥をどれほど代表しているのか。
• RQ5 科学的研究における有意性検定の信頼性を確保するためには、どのような方法論的変更が必要なのか。

主な発見

• サンプル均質性のすきまは、p値が低くても有意性検定の信頼性を損なう。
• Eberhardの不等式の破れ実験は、しばしば局所実在論に反する証拠として挙げられているが、未解決のサンプル均質性のすきまを抱えていた。
• 量子観測の文脈依存性が適切に認識されていれば、ベル型不等式の破れは驚くにあたらない。
• 均質性検証がなければ、統計的に有意な結果ですら誤りの可能性がある。
• サンプル均質性のすきまは、科学分野全体における統計的実践のより深いシステム的問題の兆候である可能性がある。
• 実験物理学やそれ以上の分野における有意性検定の結果を信頼するためには、このすきまを閉じることが不可欠である。