[논문 리뷰] A randomization-based perspective of analysis of variance: a test statistic robust to treatment effect heterogeneity

Peng Ding, Tirthankar Dasgupta|arXiv (Cornell University)|2016. 08. 05.

Statistical Methods in Clinical Trials참고 문헌 35인용 수 3

한 줄 요약

이 논문은 완전 무작위 실험에서 일원 분산분석(one-way ANOVA)에 대해 피셔의 날카로운 귀무가설 하에서 정확한 I형 오류 통제와 네이만의 더 약한 귀무가설인 평균 치료 효과가 없음을 가정할 때 점진적으로 타당한 $X^2$ 검정 통계량을 제안한다. 이는 기존의 $F$-통계량이 치료 효과의 이질성 하에서 표본 크기와 결과 분산 간의 음의 상관관계가 존재할 경우 심각하게 I형 오류를 과대평가할 수 있음을 보여주며, 이는 이질분산성과 비가환성에 대해 내성적인 설계 덕분에 $X^2$ 통계량이 이러한 문제를 피할 수 있음을 시사한다.

ABSTRACT

Fisher randomization tests for Neyman's null hypothesis of no average treatment effects are considered in a finite population setting associated with completely randomized experiments with more than two treatments. The consequences of using the $F$ statistic to conduct such a test are examined both theoretically and computationally, and it is argued that under treatment effect heterogeneity, use of the $F$ statistic in the Fisher randomization test can severely inflate the type I error under Neyman's null hypothesis. An alternative test statistic is proposed, its asymptotic distributions under Fisher's and Neyman's null hypotheses are derived, and its advantages demonstrated.

연구 동기 및 목표

• Neyman의 평균 치료 효과가 없음을 가정하는 귀무가설 하에서 Fisher 무작위화 검정에서 $F$-통계량을 사용할 경우 발생하는 과대된 I형 오류 문제를 다루는 것.
• 피셔의 날카로운 귀무가설 하에서 정확한 I형 오류 통제와 네이만의 귀무가설 하에서 점차적 타당성을 유지하는 통계량을 개발하는 것, 특히 치료 효과의 이질성 하에서도 성립하도록 하는 것.
• 표본 크기와 결과 분산 간의 음의 상관관계에 의해 영향을 받는 $F$-통계량의 민감성에 대비하여 내성적인 대안을 제공하는 것.
• 이론적 분석과 시뮬레이션을 통해 제안된 $X^2$ 통계량이 이질분산성과 비가환성 조건 하에서 오류율 통제 및 검정력 측면에서 $F$-통계량을 능가함을 보여주는 것.

제안 방법

• 섹션 5에서 정의된 새로운 검정 통계량 $X^2$를 제안하며, 이는 치료 효과의 이질성에 대해 불변이며, 치료 그룹 간 이질분산성에 대해 내성적인 설계를 갖는다.
• 피셔의 날카로운 귀무가설과 네이만의 귀무가설 하에서 $X^2$의 점진적 분포를 유도하여 이론적 타당성을 확보한다.
• 무작위화 기반 추론 프레임워크를 활용하여, 귀무가설 하에서 가능한 모든 치료 배정의 무작위화를 기반으로 검정 통계량의 귀무분포를 계산한다.
• 다양한 표본 크기, 결과 분포(예: 지수분포, 로그정규분포), 치료 효과 구조를 가진 시뮬레이션 연구를 수행하여 $F$-통계량과 $X^2$ 통계량을 귀무가설과 대립가설 하에서 비교한다.
• 몬테카를로 시뮬레이션을 활용하여 $H_0$(Neyman) 하에서 기각률과 $p$-값 분포를 추정하고, 다양한 실험 설계에서 I형 오류와 검정력을 평가한다.
• 시뮬레이션에서 잠재적 결과를 동일한 유한모집단 평균과 분산으로 표준화하여 이질분산성과 표본 크기 불균형의 영향을 고립한다.

실험 결과

연구 질문

• RQ1 치료 효과의 이질성이 존재할 경우, Neyman의 귀무가설 하에서 Fisher 무작위화 검정에서 $F$-통계량을 사용할 때 I형 오류가 과대평가되는가?
• RQ2 Neyman의 귀무가설 하에서 무작위화 검정에서 $F$-통계량이 I형 오류를 통제하지 못하는 조건은 무엇인가?
• RQ3 이질분산성과 표본 크기-분산 불균형 조건 하에서도 피셔의 날카로운 귀무가설 하에서 정확한 I형 오류 통제와 네이만의 귀무가설 하에서 점차적 타당성을 유지하는 새로운 통계량을 구성할 수 있는가?
• RQ4 다양한 표본 크기와 결과 분산 조합 하에서 $X^2$ 기반 검정의 검정력은 $F$ 기반 검정보다 어떻게 다른가?

주요 결과

• 표본 크기와 결과 분산 간의 음의 상관관계가 존재할 경우, Neyman의 귀무가설 하에서 Fisher 무작위화 검정에서 $F$-통계량은 심각하게 I형 오류를 과대평가할 수 있으며, 불균형 설계 하에서 $H_0$(Neyman) 하에서 기각률이 0.028에 이를 수 있다.
• 제안된 $X^2$ 통계량은 Neyman의 귀무가설 하에서 점차적 I형 오류를 통제하며, 치료 효과의 이질성 하에서도 피셔의 날카로운 귀무가설 하에서 정확한 크기를 유지한다.
• 균형 잡힌 실험(예: $N=30$)에서는 기울어진 잠재적 결과가 존재하는 대립가설 하에서 $X^2$ 기반 검정의 검정력(0.087)이 $F$ 기반 검정(0.066)보다 높다.
• 표본 크기가 분산과 음의 상관관계를 가지는 불균형 설계(예: $N_1=30, N_2=20, N_3=10$)에서는 $X^2$ 기반 검정의 검정력(0.211, $N=60$)이 $F$ 기반 검정(0.037)보다 뚜렷한 우위를 보이며, 이는 상당한 검정력 우위를 시사한다.
• 로그정규분포 잠재적 결과가 존재하는 $H_0$(Neyman) 하에서 $X^2$ 기반 검정의 기각률은 0.006–0.016이었고, $F$ 기반 검정은 0.015–0.028이었으며, 이는 $F$-통계량이 유한 표본에서 I형 오류를 과대평가함을 확인한다.
• $X^2$ 통계량은 동질분산 조건 하에서 $F$-통계량과 점차적으로 동일한 수준에 도달하지만, 분산과 표본 크기가 음의 상관관계를 가지는 경우 유한 표본에서 $F$-통계량을 능가한다.