[논문 리뷰] To P or not to P: on the evidential nature of P-values and their place in scientific inference

Michael J. Lew|arXiv (Cornell University)|2013. 11. 01.

Meta-analysis and systematic reviews참고 문헌 48인용 수 12

한 줄 요약

이 논문은 P-값이 수치적 값으로서가 아니라 가능도 함수를 색인함으로써 실험적 증거의 타당한 척도임을 주장한다. 가능도 함수는 모든 매개변수 값에 걸쳐 증거의 완전한 그림을 제공한다. 논문은 P-값에 대한 일반적인 비판을 반박하고, 가능도 기반 증거의 맥락에서 올바르게 이해될 경우 과학적 추론에서 P-값의 계속된 사용을 옹호한다.

ABSTRACT

The customary use of P-values in scientific research has been attacked as being ill-conceived, and the utility of P-values has been derided. This paper reviews common misconceptions about P-values and their alleged deficits as indices of experimental evidence and, using an empirical exploration of the properties of P-values, documents the intimate relationship between P-values and likelihood functions. It is shown that P-values quantify experimental evidence not by their numerical value, but through the likelihood functions that they index. Many arguments against the utility of P-values are refuted and the conclusion is drawn that P-values are useful indices of experimental evidence. The widespread use of P-values in scientific research is well justified by the actual properties of P-values, but those properties need to be more widely understood.

연구 동기 및 목표

• P-값에 대한 널리 퍼진 오해와 그들이 과학적 추론에서 수행하는 역할을 다루는 것.
• 유의미도 검정(P-값 기반)과 가설 검정(결정 기반) 사이의 구분을 명확히 하는 것. 이 둘은 종종 혼동된다.
• P-값이 수치적 값으로서가 아니라 가능도 함수를 색인함으로써 실험적 증거를 정량화한다는 것을 보여주는 것.
• 비판이 있음에도 불구하고, P-값이 오류율이 아니라 증거 척도로서 이해될 경우 과학적으로 정당화될 수 있다는 주장을 펼치는 것.
• 가능도 함수를 통합하고 유의미도 검정과 가설 검정의 혼합 오용을 바로잡는 통계 교육의 개선을 주장하는 것.

제안 방법

• 시뮬레이션과 이론적 분석을 통해 P-값의 성질을 경험적으로 탐구한다.
• P-값과 가능도 함수 사이의 수학적이고 개념적인 연결 고리를 구축하여, 각 P-값이 유일한 가능도 함수에 대응함을 보여준다.
• 누적 검정력 곡선을 사용해 P-값으로부터 가능도 함수를 유도함으로써, 모든 매개변수 값에 걸친 증거의 시각화를 가능하게 한다.
• 가능도 원리 적용을 통해, 가능도 함수를 통해 해석될 경우 P-값이 증거 기반 추론과 호환됨을 보여준다.
• 증거 기반 접근(피셔의 유의미도 검정)과 오류-결정 프레임워크(네이만-피어슨)를 대비하여, 이 둘이 상호 배타적임을 강조한다.
• 통계 소프트웨어가 기본적으로 P-값과 함께 가능도 함수를 보고하도록 제안함으로써 해석 가능성과 과학적 추론을 향상시킨다.

실험 결과

연구 질문

• RQ1 P-값은 가능도 함수와 어떻게 관련이 있으며, 실험적 증거의 타당한 척도로 기능할 수 있는가?
• RQ2 P-값이 증거와 관련이 없거나 오류율과 혼동된다는 일반적인 비판은 왜 오해인지?
• RQ3 P-값은 가능도 원리와 증거 기반 추론과 어느 정도까지 조화를 이룰 수 있는가?
• RQ4 과학 연구에서 유의미도 검정과 가설 검정을 혼동하는 데 어떤 결과가 초래되는가?
• RQ5 통계 교육과 소프트웨어는 어떻게 개선되어야 하며, P-값과 가능도 함수의 과학적 추론에서의 사용을 향상시킬 수 있는가?

주요 결과

• P-값은 오류율의 직접적 측정이 아니다. 대신 귀무가설에 대한 증거의 강도를 나타내는 가능도 함수를 색인한다.
• 동일한 P-값은 유일한 가능도 함수에 대응하며, 이는 모든 가능한 매개변수 값에 걸쳐 증거의 완전하고 연속적인 묘사를 제공한다.
• 널리 퍼진 비판에도 불구하고, P-값은 오류율이 아니라 증거 척도로서 이해될 경우 과학적으로 정당화된다.
• 빈도주의 오류율과 가능도 기반 증거 사이의 갈등은 P-값 자체에 기인하지 않으며, 오류-결정 프레임워크와 증거 기반 추론 간의 상호 배타성에 기인한다.
• 가능도 함수는 P-값만으로는 부족한 더 우수하고 정보가 풍부한 실험적 증거의 표현 방식을 제공하지만, 가능도와 함께 사용될 경우 P-값은 간결한 척도로서 여전히 유용하다.
• 가능도 함수를 기본 설정으로 포함하는 통계 교육과 소프트웨어 개선은 과학적 추론을 향상시키고 P-값의 오해를 줄일 수 있다.