[논문 리뷰] Sources of false positives and false negatives in the STATCHECK algorithm: Reply to Nuijten et al. (2015)

Thomas L. Schmidt|arXiv (Cornell University)|2016. 10. 04.

Data Analysis with R인용 수 1

한 줄 요약

이 논문은 과학 논문에서 검정통계량과 p값 간의 일관성 여부를 검출하기 위한 R 도구인 STATCHECK 알고리즘을 비판하며, 이 알고리즘이 수정된 p값을 처리하지 못한다는 핵심적인 결함을 밝혀낸다. 그 결과, 적절히 수정된 통계적 검정이 잘못되어 일관성이 없다고 경고하게 되어, 통계 보고 품질 평가의 신뢰성에 심각한 영향을 미친다.

ABSTRACT

STATCHECK is an R algorithm designed to scan papers automatically for inconsistencies between test statistics and their associated p values (Nuijten et al., 2016). The goal of this comment is to point out an important and well-documented flaw in this busily applied algorithm: It cannot handle corrected p values. As a result, statistical tests applying appropriate corrections to the p value (e.g., for multiple tests, post-hoc tests, violations of assumptions, etc.) are likely to be flagged as reporting inconsistent statistics, whereas papers omitting necessary corrections are certified as correct. The STATCHECK algorithm is thus valid for only a subset of scientific papers, and conclusions about the quality or integrity of statistical reports should never be based solely on this program.

연구 동기 및 목표

• STATCHECK 알고리즘의 기본적인 결함을 특정하고 폭 드러내어 그 신뢰성을 해치는 원인을 규명하기.
• 알고리즘이 적절히 수정된 통계적 검정을 잘못되어 일관성이 없다고 경고하는 방식을 입증하기.
• 연구자가 과학 논문의 통계 보고 품질 평가에 단지 STATCHECK에만 의존하는 것을 경고하기.
• 출판된 연구에서 수정된 p값을 사용할 경우 잘못된 경고가 발생할 위험을 강조하기.
• 통계 보고 무결성 평가를 위한 자동화된 도구의 방법론적 개선을 주장하기.

제안 방법

• STATCHECK 알고리즘의 논리적 구조와 구현 방식을 분석하여 수정된 p값 처리에 대한 한계를 규명하기.
• 통계 검정에서 적용된 보정을 고려하지 않은 채 검정통계량과 p값을 비교하는 방식을 평가하기.
• 다중 비교나 가정 위반 상황에서 흔히 사용되는 보정 방법들(예: Bonferroni, Holm-Bonferroni 등)을 분석하기.
• 예시를 통해 수정된 p값이 STATCHECK 출력에서 잘못된 경고를 유발하는 방식을 설명하기.
• 통계 이론과 알고리즘의 공식 문서화된 구현 세부사항에 기반한 논리적 및 기술적 추론을 포함한 방법.
• 기존 통계 원칙과 STATCHECK 소프트웨어의 공식 기록된 동작 방식에 기반한 비판

실험 결과

연구 질문

• RQ1 왜 STATCHECK 알고리즘이 수정된 p값을 포함한 논문에 적용되었을 때 잘못된 경고를 발생시키는가?
• RQ2 보정 처리를 고려하지 못하는 것이 STATCHECK의 통계 보고 품질 평가 신뢰성에 어떤 영향을 미치는가?
• RQ3 현재 버전의 STATCHECK와 호환되지 않는 통계 보정 유형은 무엇인가?
• RQ4 알고리즘이 얼마나 많은 정확하게 보고된 통계 결과를 잘못되어 일관성이 없다고 분류하는가?
• RQ5 이 결함이 과학 연구 무결성 감사에 자동화된 도구를 사용할 경우 어떤 영향을 미치는가?

주요 결과

• STATCHECK 알고리즘은 수정된 p값을 정확히 처리할 수 없어 체계적인 잘못된 경고를 유발한다.
• 다중 비교 등에 대해 유효한 보정을 적용한 통계 검정이 자주 알고리즘에 의해 일관성이 없다고 경고된다.
• 필수적인 보정을 생략한 논문은 STATCHECK에 의해 잘못되어 정확하다고 인증되어 오해의 소지가 생긴다.
• 알고리즘이 보정을 고려하지 못함으로써 대부분의 과학 논문에 대한 평가의 타당성이 훼손된다.
• 따라서 통계 보고 품질 평가에 단지 STATCHECK에 의존하는 것은 과학적으로 바람직하지 않으며 오해의 소지가 있다.
• 이 결함는 알고리즘의 실제 연구 무결성 평가 적용 가능성과 신뢰성에 심각한 제한을 가한다.