[논문 리뷰] A reckless guide to P-values: local evidence, global errors

Michael J. Lew|arXiv (Cornell University)|2019. 09. 23.

Meta-analysis and systematic reviews참고 문헌 59인용 수 7

한 줄 요약

이 논문은 P-값에 대한 널리 퍼진 오해를 도전하며, 근본 가설에 대한 데이터 기반 강도(지역적 증거)와 통계적 절차의 장기적 오류 성질(전역 오류 비율)을 구분한다. P-값은 적절한 검증력 분석과 복제 연구와 함께 신중하게 사용될 경우 여전히 유용하다고 주장하며, 그것이 재현성 위기의 원인이라는 주장을 반박한다.

ABSTRACT

This chapter demystifies P-values, hypothesis tests and significance tests, and introduces the concepts of local evidence and global error rates. The local evidence is embodied in extit{this} data and concerns the hypotheses of interest for extit{this} experiment, whereas the global error rate is a property of the statistical analysis and sampling procedure. It is shown using simple examples that local evidence and global error rates can be, and should be, considered together when making inferences. Power analysis for experimental design for hypothesis testing are explained, along with the more locally focussed expected P-values. Issues relating to multiple testing, HARKing, and P-hacking are explained, and it is shown that, in many situation, their effects on local evidence and global error rates are in conflict, a conflict that can always be overcome by a fresh dataset from replication of key experiments. Statistics is complicated, and so is science. There is no singular right way to do either, and universally acceptable compromises may not exist. Statistics offers a wide array of tools for assisting with scientific inference by calibrating uncertainty, but statistical inference is not a substitute for scientific inference. P-values are useful indices of evidence and deserve their place in the statistical toolbox of basic pharmacologists.

연구 동기 및 목표

• 실험 약리학을 비롯한 과학 연구에서 P-값의 광범위한 오용과 오해를 다루기
• 지역적 증거(특정 가설에 대해 데이터가 말하는 바)와 전역 오류 비율(검정 절차의 장기적 오류 성질) 간의 차이를 명확히 하기
• P-값이 본질적으로 재현성 위기의 원인이라는 주장을 반박하기 위해, 그것이 잘못 이해된 것일 뿐 본질적으로 결함이 있다는 것을 보여주기
• 적절한 실험 설계, 검증력 분석, 복제 연구와 함께 P-값을 유용한 도구로 활용할 것을 주장하기
• 통계적 요리법에 의한 막연한 적용보다는 과학적 추론을 중시하는 사고 방식을 권장하기

제안 방법

• 지역적 증거(P-값이 근본 가설에 대한 데이터의 일관성 부족을 측정하는 방식)와 전역 오류 비율(반복적 표본 추출에서의 I형/II형 오류 비율)을 구분하기
• 지역적 증거와 전역 오류 비율이 다를 수 있으며, 함께 고려되어야 한다는 점을 설명하기 위해 단순한 예시를 사용하기
• 대체 가설 하에서 증거 강도를 평가하기 위해 기대 P-값을 도구로 도입하기
• 다중 검정, HARKing, P-해킹이 지역적 증거와 전역 오류 비율에 미치는 영향을 설명하기
• 지역적 증거와 과도하게 높아진 전역 오류 비율 간의 갈등을 해결하기 위해 신규 데이터로의 복제 연구를 제안하기
• 통계적 추론을 기계적인 유의성 검정의 적용이 아닌 원칙적인 과학적 과정으로 재정의하기

실험 결과

연구 질문

• RQ1 통계적 추론에서 지역적 증거와 전역 오류 비율을 어떻게 의미 있게 구분하고 조율할 수 있는가?
• RQ2 왜 P-값은 과학 연구에서 널리 사용되지만 종종 충분한 증거를 제공하지 못하는가?
• RQ3 P-해킹과 다중 검정과 같은 관행이 지역적 증거와 전역 오류 통제를 어느 정도 약화시키는가?
• RQ4 P-값이 적절히 사용된다면 과학적 추론에서 여전히 유용한 도구로 남을 수 있는가, 아니면 베이즈 인자나 신뢰구간으로 대체되어야 하는가?
• RQ5 신규 데이터로의 복제 연구가 오해의 여지가 있는 지역적 증거와 과도하게 높아진 전역 오류 비율 간의 갈등을 어떻게 해결할 수 있는가?

주요 결과

• P-값은 본질적으로 오해의 대상이 아니며, 그 오용은 근본 가설에 대한 데이터의 일관성 부족을 측정하는 도구로써의 역할를 이해하지 못한 데 기인한다. P-값은 신념이나 진실의 척도로 쓰이지 않는다.
• 지역적 증거(단일 실험에서의 증거 강도)와 전역 오류 비율(반복 표본 추출에서의 장기적 오류 성질)은 서로 다른 개념이지만, 타당한 추론을 위해서는 함께 고려되어야 한다.
• P-해킹과 다중 검정은 지역적 증거와 전역 오류 비율을 모두 왜곡할 수 있으며, 이 갈등은 오직 새로운 데이터로의 복제 연구를 통해 해결될 수 있다.
• 기대 P-값은 대체 가설 하에서 증거 강도를 평가하는 데 도움이 되는 유용한 도구이며, 실험 설계와 검증력 분석을 향상시킨다.
• 재현성 위기는 P-값 자체에 의해 주로 발생하는 것이 아니라, 부적절한 통계적 관행과 증거와 오류 비율을 구분하지 못한 데 기인한다.
• 통계적 추론은 통계적 요리법이나 엄격한 유의성 검정의 적용에 얽매이지 않고, 과학적 추론과 원칙적인 도구 사용에 따라 이끌려야 한다.