[논문 리뷰] Multiple testing when many $p$-values are uniformly conservative, with application to testing qualitative interaction in educational interventions

Qingyuan Zhao, Dylan S. Small외 1명|arXiv (Cornell University)|2017. 03. 28.

Advanced Causal Inference Techniques참고 문헌 4인용 수 6

한 줄 요약

이 논문은 다수의 p-값이 균일하게 보수적인 경우 교육 및 의료 간 interventions에서 정성적 상호작용을 탐지하기 위해 조건부 기반 다중 검정 방법을 제안한다. 기존 방법에 비해 유의한 검정력 향상을 이룬다. 이 방법은 한쪽 검정과 정규 위치스케일 모형에서의 균일한 보수성에 기반해 임계값 τ를 조건부로 설정하며, 이론적 및 시뮬레이션적 근거로 보수성 하에서 상당한 검정력 향상을 입증하고, 그 외의 경우 최소한의 손실을 보인다.

ABSTRACT

In the evaluation of treatment effects, it is of major policy interest to know if the treatment is beneficial for some and harmful for others, a phenomenon known as qualitative interaction. We formulate this question as a multiple testing problem with many conservative null $p$-values, in which the classical multiple testing methods may lose power substantially. We propose a simple technique---conditioning---to improve the power. A crucial assumption we need is uniform conservativeness, meaning for any conservative $p$-value $p$, the conditional distribution $(p/τ)\,|\,p \le τ$ is stochastically larger than the uniform distribution on $(0,1)$ for any $τ$. We show this property holds for one-sided tests in a one-dimensional exponential family (e.g.\ testing for qualitative interaction) as well as testing $|μ|\leη$ using a statistic $X \sim \mathrm{N}(μ,1)$ (e.g.\ testing for practical importance with threshold $η$). We propose an adaptive method to select the threshold $τ$. Our theoretical and simulation results suggest the proposed tests gain significant power when many $p$-values are uniformly conservative and lose little power when no $p$-value is uniformly conservative. We apply our method to two educational intervention datasets.

연구 동기 및 목표

• 다수의 보수적인 p-값을 가진 다기관 또는 메타분석 연구에서, 치료가 일부 하위군에는 유익하고 다른 하위군에는 해로운 정성적 상호작용을 탐지하는 데 도전 과제를 해결한다.
• 하위군 및 다기관 분석에서 흔히 발생하는 p-값이 균일하게 보수적인 경우 고전적 다중 검정 절차에서 발생하는 검정력 손실을 해결한다.
• 보수성의 정도에 맞춰 최적의 임계값 τ를 선택하여 조건부로 설정하는 방법을 개발한다.
• p-값이 균일하게 보수적인 경우 높은 검정력을 유지하고, 그렇지 않은 경우 유의수준 오류 증가를 최소화한다.
• 실제 교육 간 interventions 데이터셋에 적용하여 수정된 학교 캘린더와 글쓰기 중심 학습 프로그램에서의 정성적 상호작용을 평가한다.

제안 방법

• 귀무가설 하에서 p-값의 균일한 보수성을 활용하여 검정력 향상을 도모하는 조건부 기반 다중 검정 절차를 제안한다.
• 균일한 보수성을 정의한다: 임의의 τ에 대해 조건부 분포 (p/τ | p ≤ τ) 가 Uniform(0,1)보다 확률적으로 크다. 이는 지수족에서의 한쪽 검정과 임계값이 있는 정규 평균 검정에서 성립한다.
• 보수성 가정 하에서 검정력을 최적화하기 위해 데이터 적응형 임계값 τ를 경험베이즈 또는 플러그인 방법으로 선택한다.
• 전체 귀무가설 H₀ = H₀⁺ ∪ H₀⁻ 를 검정에 적용한다. 여기서 H₀⁺ 는 모든 효과가 비음이 아니며, H₀⁻ 는 모든 효과가 음이 아니라는 의미이다. 이를 통해 정성적 상호작용을 탐지한다.
• 극값 이론과 가우시안 과정 근사법을 사용하여 검정 통계량의 渐近적 성질을 도출하며, 특히 상관된 정규 변수의 최대값에 대해 다룬다.
• 이론적으로 이 방법이 가족별 오류율을 제어하고, p-값이 균일하게 보수적인 경우 보너페르니나 벤자민-호크베르그보다 더 높은 검정력을 확보함을 입증한다.

실험 결과

연구 질문

• RQ1 많은 p-값이 균일하게 보수적인 경우, 특히 정성적 상호작용을 탐지할 때 다중 검정 절차의 검정력을 향상시킬 수 있는가?
• RQ2 데이터 적응형 임계값 τ 를 조건부로 설정하면 균일한 보수성 하에서 고전적 방법보다 더 높은 검정력을 가진다?
• RQ3 제안된 방법이 높은 검정력을 유지하면서도 신뢰수준 오류 제어를 유지하는 조건은 무엇인가?
• RQ4 실제 교육 간 interventions 데이터셋에서, 특히 정성적 상호작용이 존재할 경우 이 방법은 어떻게 성능을 보이는가?
• RQ5 일반적인 설정, 예를 들어 지수족에서의 한쪽 검정이나 임계값이 있는 정규 평균 검정에서 균일한 보수성 가정이 타당한가?

주요 결과

• 제안된 조건부 방법은 p-값이 균일하게 보수적인 경우 정성적 상호작용 탐지에 특히 유의미한 검정력 향상을 보였다. 특히 다기관 또는 메타분석 연구에서 그렇다.
• p-값이 균일하게 보수적이지 않은 경우 낮은 유의수준 오류와 최소한의 검정력 손실을 유지하여 다양한 상황에서의 강건성을 확보하였다.
• 이론적 분석 결과, 균일한 보수성 하에서 검정 통계량 p_min × n_c / c 가 확률적으로 발산함을 보여, 가족별 오류율을 강력하게 제어함을 입증하였다.
• 시뮬레이션과 실데이터 적용(수정된 학교 캘린더 및 글쓰기 중심 학습 간 interventions)을 통해 이 방법의 실용성과 해로운 하위군 탐지 능력 향상을 입증하였다.
• p-값이 균일하게 보수적인 조건 하에서 하위군 수 n 이 클수록 검정력이 증가하며, ε > 0 일 때 n^ε / √log n 의 속도로 증가함을 보였다.
• 특히 많은 보수적인 p-값이 존재하는 상황에서, 보너페르니나 벤자민-호크베르그와 같은 표준 방법보다 이 조건부 접근법이 더 뛰어난 성능을 보였다. 특히 정성적 상호작용이 존재할 경우 더욱 두드러졌다.