[論文レビュー] Appropriate Methodology of Statistical Tests According to Prior Probability and Required Objectivity

Tomokazu Konishi|arXiv (Cornell University)|Apr 13, 2011

Gene expression and cancer classification参考文献 22被引用数 14

ひとこと要約

この論文は、p値の解釈と仮説検定の手法が事前確率と必要な客観性に合わせて調整されるべきであり、マイクロアレイデータを通じてp値が帰無仮説の確率に応じて異なる挙動を示すことを示している。研究分野における統計的推論の不整合を解消するため、事前確率が低いか、客観性の要請が高い場合には特にベイズ的手法の採用を推奨する。

ABSTRACT

In contrast to its common definition and calculation, interpretation of p-values diverges among statisticians. Since p-value is the basis of various methodologies, this divergence has led to a variety of test methodologies and evaluations of test results. This chaotic situation has complicated the application of tests and decision processes. Here, the origin of the divergence is found in the prior probability of the test. Effects of difference in Pr(H0 = true) on the character of p-values are investigated by comparing real microarray data and its artificial imitations as subjects of Student's t-tests. Also, the importance of the prior probability is discussed in terms of the applicability of Bayesian approaches. Suitable methodology is found in accordance with the prior probability and purpose of the test.

研究の動機と目的

• 統計的コミュニティ間でのp値解釈の不整合を解消すること。
• 帰無仮説の事前確率（Pr(H0 = true)）がp値の挙動と検定の信頼性に与える影響を調査すること。
• 事前確率と推論における必要とされる客観性の水準に基づいて適切な統計的手法を特定すること。
• 特にH0の事前妥当性が低い状況におけるベイズ的手法の適切さを評価すること。
• データの特性と研究文脈に整合する統計的仮説検定の選択フレームワークを提供すること。

提案手法

• 本研究では、既知の帰無仮説条件のもとで人工的に生成されたデータと実際のマイクロアレイデータを比較し、異なる事前確率を模擬した。
• 実データおよび合成データの両方に対してスチューデントのt検定を適用し、Pr(H0 = true)の異なる水準におけるp値の挙動を評価した。
• 異なる事前仮定のもとで第一種および第二種の誤り率と陽性予測値（PPV）を評価した。
• 特に偽発見率（FDR）の制御において、ベイズ的手法の性能を低事前確率状況で評価した。
• p値が事前妥当性を無視した場合にどのように誤解を招くかを示すために、シミュレーションを用いた比較手法を用いた。
• 検定手法を事前確率と客観性要請に結びつける意思決定フレームワークを構築した。

実験結果

リサーチクエスチョン

• RQ1 帰無仮説の事前確率が、仮説検定におけるp値の解釈と信頼性にどのように影響を与えるか？
• RQ2 特にハイパーフィーチャーな生物学的データにおいて、事前確率を無視して統計的仮説検定を選択した場合の結果は何か？
• RQ3 H0の事前妥当性が低い状況では、どのような文脈でベイズ的手法が頻度主義のp値よりも適切であるか？
• RQ4 異なる事前仮定のもとで、実際のマイクロアレイデータからのp値と、既知の帰無分布を有する人工データからのp値はどのように比較できるか？
• RQ5 統計的仮説検定において、頻度主義的手法とベイズ的手法の間で選択をどうガイドすべきか？

主な発見

• p値は、帰無仮説の事前確率に応じて異なる挙動を示し、その普遍的な解釈に疑問を呈する。
• H0が真である事前確率が低い場合には、p値だけでは帰無仮説に対する証拠を過大評価し、偽発見率が上昇する。
• 既知の帰無条件のもとで生成された人工データは、事前妥当性を無視した場合にp値が誤解を招くことを明らかにした。
• 特に高次元データ（マイクロアレイなど）において、ベイズ的手法は誤り制御とPPVの両面で顕著に改善される。
• 本研究は、推論における事前確率と必要な客観性の水準に合わせて、検定手法を適応させる必要があることを示した。
• 事前妥当性と客観性の要請に応じて検定の選択を変える文脈に配慮したフレームワークを提唱し、統計的実践における不整合を解消した。