[논문 리뷰] Liberating research from null hypotheses: extending the idea of confidence instead of using p values

Michael Wood|arXiv (Cornell University)|2009. 12. 19.

Meta-analysis and systematic reviews인용 수 1

한 줄 요약

이 논문은 가설 검정에서 p-값에 대한 의존도를 줄이기 위해 신뢰도를 확률론적으로 재정의하는 것을 제안한다. 이는 더 직관적이고 투명한 대안을 제공한다. 특정 가정 하에서 p-값을 신뢰도 진술으로 재해석함으로써 연구자들이 가설의 신뢰성에 대해 더 의미 있는 평가를 내릴 수 있게 하며, 통계적 추론의 명확성과 사용자 우호성을 향상시킨다.

ABSTRACT

Null hypothesis significance tests and p values are widely used despite very strong arguments against their use in many contexts. Confidence intervals are often recommended as an alternative, but these do not achieve the objective of assessing the credibility of a hypothesis, and the distinction between confidence and probability is an unnecessary confusion. This paper proposes a more straightforward (probabilistic) definition of confidence, and suggests how the idea can be applied to whatever hypotheses are of interest to researchers. The relative merits of the different approaches are discussed using a series of illustrative examples: usually confidence based approaches seem more transparent and useful, but there are some contexts in which p values may be appropriate. I also suggest some methods for converting results from one format to another. (The attractiveness of the idea of confidence is demonstrated by the widespread persistence of the completely incorrect idea that p=5% is equivalent to 95% confidence in the alternative hypothesis. In this paper I show how p values can be used to derive meaningful confidence statements, and the assumptions underlying the derivation.) Key words: Confidence interval, Confidence level, Hypothesis testing, Null hypothesis significance tests, P value, User friendliness.

연구 동기 및 목표

• 연구에서 널리 퍼져 있는 p-값과 귀무가설 유의성 검정의 오용 및 오해를 해결하기 위해.
• 신뢰구간과 확률 사이의 혼동을 해결하기 위해, 신뢰도에 더 명확하고 확률론적인 정의를 제안하기 위해.
• 정의된 가정 하에서 p-값이 가설에 대한 신뢰도 진술로 의미 있게 변환될 수 있음을 보여주기 위해.
• 연구자들이 다양한 분야에서 통계 결과의 투명성과 해석 가능성을 향상시키기 위해.
• p-값 형식과 신뢰도 기반 형식 간에 결과를 변환할 수 있는 실용적 방법을 제공하기 위해.

제안 방법

• 신뢰도에 대한 새로운 확률론적 해석을 제안하여, 이를 빈도주의적 커버리지 확률이 아닌 가설에 대한 신념의 직접적 척도로 간주한다.
• 특정 전제(사전 가능성 및 오류 비율에 대한 가정) 하에서 p-값을 대립가설에 대한 신뢰도 진술로 재해석한다.
• 신뢰도 기반 접근과 p-값을 비교하는 예시를 제시하여 명확성과 해석 가능성의 우월성을 부각한다.
• p-값과 신뢰도 진술 간의 변환 기법을 도입하여 연구자들이 형식 간에 결과를 번역할 수 있도록 한다.
• p-값으로부터 신뢰도를 유도할 때 가정을 명확히 밝혀야 오해를 방지할 수 있음을 강조한다.
• 귀무가설 유의성 검정에 비해 더 직관적이고 사용자 友好的한 대안으로 신뢰도 기반 추론을 지지한다.

실험 결과

연구 질문

• RQ1 p-값에 비해 확률론적 신뢰도 정의가 통계 결과의 해석 가능성에 개선을 가져올 수 있는가?
• RQ2 어떤 가정 하에서 p-값이 가설에 대한 신뢰도 진술로 의미 있게 변환될 수 있는가?
• RQ3 투명성과 명확성 측면에서, 신뢰도 기반 추론은 귀무가설 유의성 검정보다 어떻게 다를 수 있는가?
• RQ4 p-값의 한계가 있음에도 불구하고 어떤 연구 맥락에서 p-값이 여전히 적절한가?
• RQ5 연구자들이 p-값 형식과 신뢰도 기반 형식 간에 결과를 변환할 수 있는 실용적 방법은 무엇인가?

주요 결과

• 기존 p-값보다 확률론적 재정의된 신뢰도는 가설 평가에 더 직관적이고 투명한 접근을 제공한다.
• p = 5%이면 대립가설에 대해 95%의 신뢰도가 있다는 광범위한 오해는 특정이고 명확히 기술된 가정 하에서는 논리적으로 타당하다는 것이 입증된다.
• 제시된 예시들 전반에서, 신뢰도 기반 접근은 p-값에 비해 일관되게 명확성과 해석 가능성에서 뛰어난 성능을 보였다.
• p-값과 신뢰도 진술 간의 변환 방법은 가능하며 유용한데, 이는 기초 가정이 명시적으로 인정되어야 한다는 전제가 있다.
• p-값이 여전이 적절한 분야가 일부 존재하며, 특히 효과 크기와 맥락 정보가 함께 제공될 경우에 해당한다.
• 논문은 적절히 정의된 신뢰도가 귀무가설 유의성 검정의 신뢰할 수 있고 사용자 우호적인 대안이 될 수 있음을 입증한다.