[논문 리뷰] Changing the paradigm of fixed significance levels: Testing Hypothesis by Minimizing Sum of Errors Type I and Type II

Luis R. Pericchi, Carlos Alberto de Bragança Pereira|arXiv (Cornell University)|2013. 09. 30.

Advanced Statistical Methods and Models참고 문헌 10인용 수 6

한 줄 요약

이 논문은 고정된 유의수준을 사용하는 기존의 가설검정 방식에서 타당한 유의수준을 갖는 방법으로 전환함으로써 통계적 가설검정의 범주적 전환을 제안한다. 이 방법은 예측적으로 일치하는 사전분포를 기반으로 한 베이즈 요인을 사용하여 제1종 오류와 제2종 오류의 가중합을 최소화함으로써 최적이고 일관된 검정을 실현하며, 우도원리(likelihood principle)를 존중하고 빈도주의와 베이지안 접근법을 조화시키며, p-값과 고정된 α 수준보다 더 균형 잡히고 과학적으로 타당한 대안을 제공한다.

ABSTRACT

Our purpose, is to put forward a change in the paradigm of testing by generalizing a very natural idea exposed by Morris DeGroot (1975) aiming to an approach that is attractive to all schools of statistics, in a procedure better suited for the needs of science. DeGroot's seminal idea is to base testing statistical hypothesis on minimizing the weighted sum of type I plus type II error instead of of the prevailing paradigm which is fixing type I error and minimizing type II error. DeGroot's result is that in simple vs simple hypothesis the optimal criterion is to reject, according to the likelihood ratio as the evidence (ordering) statistics using a fixed threshold value, instead of a fixed tail probability. By defining expected type I and type II errors, we generalize DeGroot's approach and find that the optimal region is defined by the ratio of evidences, that is, averaged likelihoods (with respect to a prior measure) and a threshold fixed. This approach yields an optimal theory in complete generality, which the Classical Theory of Testing does not. This can be seen as a Bayes-Non-Bayes compromise: the criteria (weighted sum of type I and type II errors) is Frequentist, but the test criterion is the ratio of marginalized likelihood, which is Bayesian. We give arguments, to push the theory still further, so that the weighting measures (priors)of the likelihoods does not have to be proper and highly informative, but just predictively matched, that is that predictively matched priors, give rise to the same evidence (marginal likelihoods) using minimal (smallest) training samples. The theory that emerges, similar to the theories based on Objective Bayes approaches, is a powerful response to criticisms of the prevailing approach of hypothesis testing, see for example Ioannidis (2005) and Siegfried (2010) among many others.

연구 동기 및 목표

• 고정된 제1종 오류율이 제2종 오류를 통제하지 못하고, 특히 대규모 표본에서 과학적으로 일관되지 못한 가설검정의 문제를 해결하기 위해.
• 1975년 모리스 데그루트의 간단 대 간단 가설에 국한된 제1종 및 제2종 오류의 가중합 최소화 개념을 복합 모형으로 일반화하기 위해.
• 빈도주의와 베이지안 접근법을 조화시키며 우도원리와 선택적 정지(optional stopping) 원칙을 준수하는 일반적이고 최적의 검정 프레임워크를 개발하기 위해.
• 적절한 사전분포가 필요하지 않으며, 최소한의 학습 샘플에 대응하는 예측적으로 일치하는 비적절한 사전분포만으로도 타당하고 일관된 증거를 도출할 수 있음을 보여주기 위해.
• p-값과 고정된 α 수준에 대한 광범위한 비판에 대응하기 위해, 실질적 의미가 없음에도 불구하고 매우 작은 p-값으로 귀무가설을 기각하는 역설을 피할 수 있는 방법을 제시하기 위해.

제안 방법

• 모수 공간에 대한 사전분포를 사용하여 기대 오류를 정의함으로써 제1종 및 제2종 오류의 가중합을 최소화하는 방법을 사용한다.
• 최적의 귀기각 영역은 최적의 귀기각 영역은 최소화된 우도(증거)의 비율에 의해 결정되며, 이는 적절한 사전분포 하에서의 베이즈 요인과 일치한다.
• 각 가설 하에서 일정한 손실 함수를 사용함으로써 최적의 검정 통계량으로 베이즈 요인이 도출된다.
• 실질적 의미를 고려하기 위해, 임계값 Δ 이하의 차이를 무시 가능하다고 간주하는 무감지 영역을 도입하고, 이에 따라 증거 비율을 조정한다.
• 최소한의 학습 샘플에 대응하는 예측적으로 일치하는 비적절한 사전분포를 사용하여, 적절한 사전분포가 필요 없이도 일관성과 타당성을 확보한다.
• 이론은 의사결정 이론에 기반하며, 고정된 p-값이나 α 수준이 아닌, 평균화된 우도(증거)의 비율을 고정된 임계값과 비교하는 검정 기준을 사용한다.

실험 결과

연구 질문

• RQ1 사전에 α를 고정하지 않고 제1종 및 제2종 오류를 균형 잡는 일반적이고 최적의 가설검정 프레임워크를 개발할 수 있는가?
• RQ2 오류의 가중합을 최소화하는 방법이 기존의 네이만-피어슨 검정과 비교해 일관성과 오류 통제 측면에서 어떻게 다를까?
• RQ3 최소한의 학습 데이터에 대응하는 예측적으로 일치하는 비적절한 사전분포를 사용할 때, 가설검정에서 의미 있는 활용이 가능한가?
• RQ4 왜 p-값은 대규모 표본에서 오해를 낳는 결론을 이끌 수 있으며, 이를 증거 기반 기준을 통해 어떻게 피할 수 있는가?
• RQ5 우도원리와 선택적 정지 원칙을 준수하면서도 최적이고 일관된 검정을 수행할 수 있는가?

주요 결과

• N=104,490,000, S=52,263,471 인 대규모 표본 이항분포 예제에서 p-값은 0.0003이었고, 이는 귀무가설을 기각하는 데에 사용되었지만, 제퍼리스의 사전분포 하에서의 베이즈 요인은 18.7이었으며, 이는 귀무가설을 지지하는 강력한 증거를 나타낸다.
• 실질적 의미의 임계값 Δ=0.0005 (0.05%)를 고려할 경우, 대립가설에 대한 증거 비율은 5.1×10^10에 달하여, 매우 작은 p-값에도 불구하고 귀무가설에 대한 압도적인 지지를 보여준다.
• 이 방법은 일관성을 보장한다: 증거가 증가함에 따라, 가중합을 최소화할 경우 제1종 및 제2종 오류는 모두 0으로 수렴한다.
• 최적의 검정은 우도원리와 선택적 정지 원칙을 만족하지만, p-값 기반 방법은 그렇지 않다.
• 최적의 검정에서 제1종 오류 대비 제2종 오류의 비율은 b/a로 유계되어 있으며, 이는 방법이 상대적 오류 트레이드오프를 내재적으로 통제함을 보여준다.
• 비적절한 사전분포라도 예측적으로 일치하는 경우, 결과적으로 도출되는 증거(최소화된 우도)는 타당하며 동일한 최적의 결정 규칙을 이끌어낸다.