[논문 리뷰] Multiple Test Functions and Adjusted p-Values for Test Statistics with Discrete Distributions

Joshua Habiger|arXiv (Cornell University)|2014. 12. 01.

Statistical Methods in Clinical Trials참고 문헌 14인용 수 7

한 줄 요약

이 논문은 이산 검정 통계량을 가진 다중 검정보다 편향과 변동성을 기존의 랜덤화 또는 비랜덤화 방법보다 줄이는 조정된 추상적 랜덤화 p-값과 검정 함수를 제안하는 통합 프레임워크를 소개한다. 결정이 방법 간에 다를 경우, 특히 대규모 다중 검정보다 이 조정된 추상적 랜덤화 p-값과 검정 함수를 보고하는 것이 더 우수하다는 것을 보여준다.

ABSTRACT

The randomized $p$-value, (nonrandomized) mid-$p$-value and abstract randomized $p$-value have all been recommended for testing a null hypothesis whenever the test statistic has a discrete distribution. This paper provides a unifying framework for these approaches and extends it to the multiple testing setting. In particular, multiplicity adjusted versions of the aforementioned $p$-values and multiple test functions are developed. It is demonstrated that, whenever the usual nonrandomized and randomized decisions to reject or retain the null hypothesis may differ, the (adjusted) abstract randomized $p$-value and test function should be reported, especially when the number of tests is large. It is shown that the proposed approach dominates the traditional randomized and nonrandomized approaches in terms of bias and variability. Tools for plotting adjusted abstract randomized $p$-values and for computing multiple test functions are developed. Examples are used to illustrate the method and to motivate a new type of multiplicity adjusted mid-$p$-value.

연구 동기 및 목표

• 이산 분포를 가진 검정 통계량이 있는 다중 검정에서 전통적인 p-값의 한계를 해결하기 위해.
• 기존의 방법—랜덤화 p-값, 미드-p-값, 추상적 랜덤화 p-값—을 통합하고 확장하여 다중 검정을 위한 일관된 프레임워크를 마련하기 위해.
• 조정된 추상적 랜덤화 p-값과 검정 함수가 편향과 변동성 측면에서 기존 방법보다 뛰어나다는 것을 입증하기 위해.
• 고차원 설정에서 조정된 추상적 랜덤화 p-값을 플로팅하고 다중 검정 함수를 계산하기 위한 실용적 도구를 제공하기 위해.
• 랜덤화 및 비랜덤화 p-값에 기반한 결정이 다를 경우, 더 정보가 풍부하고 통계적으로 타당한 보고 방법을 선택하는 데 도움을 주기 위해.

제안 방법

• 이산 분포 하에서 추론을 위한 검정 함수와 추상적 랜덤화 p-값을 상호 보완적인 도구로 간주하는 통합 프레임워크를 개발한다.
• 가족별 오류율을 강하게 제어하는 조정된 추상적 랜덤화 p-값과 검정 함수의 다중성 조정 버전을 도입한다.
• 귀무가설 하에서 검정 함수의 기대값을 사용하여 검정의 크기를 정의함으로써 제1종 오류 제어를 보장한다.
• 반복 기대의 법칙을 적용하여 추상적 랜덤화 p-값을 사용할 경우 의사결정 규칙의 분산이 최소화됨을 보여준다.
• 특히 검정 함수가 0 또는 1이 아닐 경우의 불확실성을 반영하기 위해 조정된 추상적 랜덤화 p-값을 간격으로 플로팅하는 것을 제안한다.
• 추상적 랜덤화 p-값 기반의 검정 함수가 랜덤화 및 비랜덤화 접근 방식을 모두 통계적 효율성 측면에서 압도함을 도출하고 증명한다.

실험 결과

연구 질문

• RQ1 이산 검정 통계량이 있는 다중 검정에서 p-값과 검정 함수는 어떻게 조정되어야 하며, 강한 오류율 제어를 유지할 수 있는가?
• RQ2 랜덤화 및 비랜덤화 결정이 다를 경우가 언제 발생하며, 이러한 격리의 통계적 결과는 무엇인가?
• RQ3 추상적 랜덤화 p-값은 다중 검정으로 확장될 수 있으며, 편향과 변동성 측면에서 전통적 방법을 압도하는가?
• RQ4 p-값이 유의수준에 가까워질 경우 검정 함수는 불확실성을 어떻게 전달하는가?
• RQ5 미드-p-값과 랜덤화 p-값이 서로 다른 결정을 내릴 경우, 연구자들은 어떻게 효과적으로 결과를 보고해야 하는가?

주요 결과

• 검정 함수가 0 또는 1이 아닐 경우, 조정된 추상적 랜덤화 p-값과 검정 함수는 편향과 변동성 측면에서 랜덤화 및 비랜덤화 접근 방식을 모두 압도한다.
• 이산 검정 통계량이 있는 설정에서는, p-값이 0.05보다 略로 약간 높더라도 진짜 크기가 0.05에 가까운 경우 비랜덤화된 미드-p-값은 잘못된 결정을 내릴 수 있다.
• 추상적 랜덤화 p-값은 관측되지 않은 균일 랜덤 변수 위에서 정의되며 정확한 크기 제어를 유지하므로 의사결정의 불확실성을 더 정확하게 표현한다.
• 검정 함수가 0 또는 1이 아닐 경우, 조정된 추상적 랜덤화 p-값을 간격(예: 상한과 하한)으로 보고하는 것이 단일 p-값에 의존하는 것보다 더 정보가 풍부하다.
• 제안된 방법은 강한 가족별 오류율 제어를 보장하며, 이산성이 의사결정 불확실성을 증폭시키는 대규모 다중 검정보다 특히 유리하다.
• 이론적 증명을 통해 추상적 랜덤화 p-값 프레임워크 하에서 의사결정 규칙의 분산이 최소화됨을 확인하였으며, 이는 그 통계적 우월성을 뒷받침한다.