[論文レビュー] Sources of false positives and false negatives in the STATCHECK algorithm: Reply to Nuijten et al. (2016)

Thomas L. Schmidt|arXiv (Cornell University)|Oct 4, 2016

Rough Sets and Fuzzy Logic被引用数 6

ひとこと要約

この論文は、STATCHECKアルゴリズムに深刻な欠陥が存在することを特定している：補正済みp値を処理できないため、誤った陽性（正しい結果を不一致と誤判定）と誤った陰性（実際の不一致を見逃す）を引き起こす。著者らは、STATCHECKの信頼性が著しく制限されており、研究の統計的整合性を評価する目的で使用するには、大幅な改訂が不可欠であると主張している。

ABSTRACT

STATCHECK is an R algorithm designed to scan papers automatically for inconsistencies between test statistics and their associated p values (Nuijten et al., 2016). The goal of this comment is to point out an important and well-documented flaw in this busily applied algorithm: It cannot handle corrected p values. As a result, statistical tests applying appropriate corrections to the p value (e.g., for multiple tests, post-hoc tests, violations of assumptions, etc.) are likely to be flagged as reporting inconsistent statistics, whereas papers omitting necessary corrections are certified as correct. The STATCHECK algorithm is thus valid for only a subset of scientific papers, and conclusions about the quality or integrity of statistical reports should never be based solely on this program.

研究の動機と目的

• 研究論文における統計的不一致を検出する目的で使用されるSTATCHECKアルゴリズムに、根本的な欠陥が存在することを暴露すること。
• 補正済みp値を使用する研究が、方法論的に適切であっても、STATCHECKが誤って不一致と判定してしまうことを示すこと。
• 研究者や査読者に、統計的品質や整合性を評価する際に単にSTATCHECKに依存するべきでないことを警告すること。
• 必要な補正が行われていない論文が、アルゴリズムによって誤って「正しい」と認定されてしまうことのリスクを強調すること。
• 多重比較や仮定の違反に対する補正といった一般的な統計的補正を適切に扱えるように、アルゴリズムの方法論的改訂を提言すること。

提案手法

• 著者らは、補正済みp値を処理する際のSTATCHECKアルゴリズムの失敗モードを特定するために、内部論理を分析した。
• 具体的には、ボンフェローニ法、ホルム＝ボンフェローニ法、シダク補正などのp値調整が行われた統計的検定の例を検討し、STATCHECKがこれらのケースを不一致と誤って分類することを示した。
• この手法では、補正済み有意水準に基づく期待される統計量とp値を、報告された値と比較することで、アルゴリズムの論理的不一致を明らかにした。
• 理論的および実証的分析を通じて、アルゴリズムの意思決定ルールが未補正p値の単純化された仮定に基づいていることを示した。
• アルゴリズムが補正の種別を特定できないことにより、不一致チェックにおいて誤った陽性と誤った陰性が生じることを実証した。
• 分析は、心理学や生物医学分野における応用研究の一般的な実践と標準統計理論に基づいている。

実験結果

リサーチクエスチョン

• RQ1 なぜSTATCHECKアルゴリズムは、補正済みp値を用いる論文に誤った陽性を示すのか？
• RQ2 STATCHECKに補正対応の論理が欠如していることで、統計的不一致の検出における信頼性にどのような影響が生じるのか？
• RQ3 どの種類の統計的補正が、STATCHECKアルゴリズムで誤った陽性を引き起こしやすいのか？
• RQ4 p値が未補正であるが検定統計量が誤って報告されている場合、アルゴリズムはどのようにして実際に存在する不一致を検出できないのか？
• RQ5 アルゴリズムの現在の設計は、科学的出版物の統計的整合性を監査する目的で使用する際の有用性をどの程度損なっているのか？

主な発見

• STATCHECKアルゴリズムは、多重比較やその他の補正が施されたp値を正しく処理できず、体系的な誤った陽性を引き起こす。
• ボンフェローニ法やホルム＝ボンフェローニ法などの補正を適切に適用している研究でさえ、統計量とp値が正しいにもかかわらず、STATCHECKによって不一致と誤ってマークされることがある。
• 逆に、必要な補正が行われていない論文が、しばしばアルゴリズムによって「正しい」と認定され、誤った陰性を引き起こしている。
• 未補正p値の仮定に依存しているため、補正を用いる研究の大多数に対してSTATCHECKは無効である。
• その結果、STATCHECKにのみ依存して統計的報告の質に関する結論を下すことは、根本的に信頼できず、誤解を招く可能性がある。
• 著者らは、補正済みp値を適切に処理できるように、アルゴリズムの方法論的改訂を大幅に行わなければ、研究の整合性を評価する目的で使用すべきではないと結論づけている。