[논문 리뷰] Sources of false positives and false negatives in the STATCHECK algorithm: Reply to Nuijten et al. (2016)

Thomas L. Schmidt|arXiv (Cornell University)|2016. 10. 04.

Rough Sets and Fuzzy Logic인용 수 6

한 줄 요약

이 논문은 STATCHECK 알고리즘의 심각한 결함을 규명한다: 보정된 p-값을 처리하지 못해 가짜 양성 결과(정확한 결과를 비일관성으로 오분류)와 가짜 음성 결과(실제 비일관성을 간과)를 초래한다. 저자들은 STATCHECK의 신뢰성은 심각하게 제한되어 있으며, 따라서 보정된 p-값을 고려하지 않은 채 연구의 통계적 정합성 평가에 사용하는 것은 주요 수정 없이 무효하다고 주장한다.

ABSTRACT

STATCHECK is an R algorithm designed to scan papers automatically for inconsistencies between test statistics and their associated p values (Nuijten et al., 2016). The goal of this comment is to point out an important and well-documented flaw in this busily applied algorithm: It cannot handle corrected p values. As a result, statistical tests applying appropriate corrections to the p value (e.g., for multiple tests, post-hoc tests, violations of assumptions, etc.) are likely to be flagged as reporting inconsistent statistics, whereas papers omitting necessary corrections are certified as correct. The STATCHECK algorithm is thus valid for only a subset of scientific papers, and conclusions about the quality or integrity of statistical reports should never be based solely on this program.

연구 동기 및 목표

• 연구 논문에서 통계적 비일관성을 탐지하는 데 사용되는 STATCHECK 알고리즘의 핵심 결함을 폭 드러내어 그 신뢰성을 떨어뜨리는 바람직하지 않은 영향을 분석하는 것.
• 보정된 p-값을 사용하는 연구가 비록 방법론적으로 타당하더라도, STATCHECK가 잘못된 방식으로 비일관성으로 표시하는 것을 입증하는 것.
• 연구자들과 심사위원들이 통계적 품질이나 연구의 정합성을 평가할 때 단지 STATCHECK에만 의존하지 말 것을 경고하는 것.
• 필수 보정을 생략한 논문들이 알고리즘에 의해 잘못된 방식으로 정확한 것으로 인식되는 것을 부각하여, 잘못된 확신을 가진 잘못된 통계 보고의 위험을 높이는 바를 드러내는 것.
• 다중 비교나 가정 위반에 대한 보정과 같은 일반적인 통계 보정을 고려할 수 있도록 알고리즘의 방법론적 수정을 주장하는 것.

제안 방법

• 저자들은 보정된 p-값을 만났을 때 STATCHECK 알고리즘이 실패하는 방식을 규명하기 위해 내부 논리 구조를 분석한다.
• 보정된 p-값이 적용된 특정 통계 검정 사례(예: 보너페리, 올름-보너페리, 시다크 보정 등)를 검토하여, STATCHECK가 이러한 경우를 잘못 일관성 없는 것으로 분류하는 방식을 보여준다.
• 이 방법은 보정된 유의수준 기반 예상 값과 비교해 보고된 검정 통계량과 p-값을 분석함으로써, 알고리즘의 논리에서 체계적인 불일치를 드러내는 방식이다.
• 저자들은 이론적 및 실증적 분석을 통해 알고리즘의 결정 규칙이 보정되지 않은 p-값에 대한 단순화된 가정에 기반하고 있음을 보여준다.
• 알고리즘이 보정 유형을 식별하지 못함으로써 비일관성 검사에서 가짜 양성과 가짜 음성이 동시에 발생함을 입증한다.
• 분석은 통계 이론의 표준 원칙과 특히 심리학 및 생물의학 분야에서 일반적인 응용 연구 관행에 기반한다.

실험 결과

연구 질문

• RQ1 왜 STATCHECK 알고리즘이 보정된 p-값을 사용하는 논문에 적용되었을 때 가짜 양성 결과를 낳는가?
• RQ2 STATCHECK에 보정 인식 논리가 결여되어 있을 경우, 비일관성 탐지 능력에 어떤 영향을 미치는가?
• RQ3 어떤 종류의 통계 보정이 STATCHECK 알고리즘에서 가짜 양성 결과를 유발할 가능성이 가장 높은가?
• RQ4 p-값은 보정되지 않았지만 검정 통계량이 잘못 보고된 경우, 알고리즘이 실제로 비일관성을 탐지하지 못하는 방식은 무엇인가?
• RQ5 현재 알고리즘 설계가 과학 논문의 통계적 정합성 감사에 있어 그 유용성을 어느 정도 훼손하는가?

주요 결과

• STATCHECK 알고리즘은 다중 비교나 기타 보정을 거친 p-값을 정확히 처리할 수 없어 체계적인 가짜 양성 결과를 초래한다.
• 보너페리 또는 올름-보너페리와 같은 보정을 적절히 적용한 연구는 통계량과 p-값이 정확하더라도 자주 비일관성으로 표시된다.
• 반대로, 필요한 보정을 생략한 논문들은 자주 알고리즘에 의해 정확한 것으로 인식되어 가짜 음성 결과를 낳는다.
• 알고리즘이 보정되지 않은 p-값에 기반한 가정에 의존함으로써, 대부분의 과학 논문에 대해 유효하지 않게 된다.
• 결과적으로, 단지 STATCHECK에 의존해 통계 보고 품질에 대한 결론을 내리는 것은 본질적으로 신뢰할 수 없고 오해의 소지가 있다.
• 저자들은 보정된 p-값을 처리할 수 있도록 방법론적 수정이 이루어지지 않은 한, 알고리즘을 연구 정합성 평가에 사용해서는 안 된다고 결론을 내린다.