[논문 리뷰] Randomization Inference beyond the Sharp Null: Bounded Null Hypotheses and Quantiles of Individual Treatment Effects

Devin Caughey, Allan Dafoe외 2명|arXiv (Cornell University)|2021. 01. 22.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 논문은 피셔의 날카로운 근본가설을 초월하여, 많은 랜덤화 검정(RI)이 유한한 근본가설—모든 개인 치료 효과가 비음성 또는 비음성일 경우—하에서 유효하다는 것을 보여줌으로써, 개별 치료 효과의 분위수 및 최대/최소 효과에 대한 정확한 비모수적 추론을 가능하게 한다. 이 방법은 다중 검정 보정 없이 모든 효과 분위수에 대해 동시에 유효한 균일한 신뢰구간을 제공하여 원인관계 추론에서 '무료 점심'을 제공한다.

ABSTRACT

Randomization inference (RI) is typically interpreted as testing Fisher's "sharp" null hypothesis that all unit-level effects are exactly zero. This hypothesis is often criticized as restrictive and implausible, making its rejection scientifically uninteresting. We show, however, that many randomization tests are also valid for a "bounded" null hypothesis under which the unit-level effects are all non-positive (or all non-negative) but are otherwise heterogeneous. In addition to being more plausible a priori, bounded nulls are closely related to substantively important concepts such as monotonicity and Pareto efficiency. Reinterpreting RI in this way also dramatically expands the range of inferences possible in this framework. We show that exact confidence intervals for the maximum (or minimum) unit-level effect can be obtained by inverting tests for a sequence of bounded nulls. We also generalize RI to cover inference for quantiles of the individual effect distribution as well as for the proportion of individual effects larger (or smaller) than a given threshold. The proposed confidence intervals for all effect quantiles are simultaneously valid, in the sense that no correction for multiple analyses is required, and are thus a "free lunch" added to conventional RI. In sum, our reinterpretation and generalization provide a broader justification for randomization tests and a basis for exact nonparametric inference for effect quantiles. We illustrate our methods with simulations and applications, finding that Stephenson rank statistics can provide more informative results than the more common Wilcoxon rank or difference-in-means statistics. We also provide an R package RIQITE implementing the proposed approach.

연구 동기 및 목표

• 피셔의 날카로운 근본가설(모든 단위 효과가 정확히 0)이 너무 제한적이고 과학적으로 무미건물하다는 비판에 대응하기 위해.
• 많은 표준 랜덤화 검정이 모든 효과가 정확히 0이 아니더라도, 모든 개별 단위 효과가 비음성 또는 비음성일 경우에 유효하다는 것을 보여주기 위해.
• 유한한 근본가설을 뒤집는 방식으로 최대 및 최소 개별 치료 효과에 대한 정확한 비모수적 신뢰구간을 개발하기 위해.
• 통계적으로 엄밀하고 실질적으로 해석 가능한 효과 이질성에 대한 추론을 위한 통합 프레임워크를 제공하기 위해.
• 제안된 방법이 모든 분위수에 대해 다중 검정 보정 없이 동시에 유효한 신뢰구간을 제공함으로써 실용적 유용성을 향상시키기 위해.

제안 방법

• 날카로운 근본가설 하에서 유효한 검정이, 모든 단위 효과 ≤ 0 또는 ≥ 0인 유한한 근본가설 하에서도 유효하다는 것을 보여주는 랜덤화 검정(RI)의 재해석을 제안한다. 이는 약간의 조건 하에서 성립한다.
• 랜덤 할당 하에서 검정 통계량의 분포를 이용하여, 유한한 근본가설 하에서 정확한 p-값과 신뢰구간을 구성한다. 이는 유한한 근본가설 하에서의 표본 분포가 날카로운 근본가설 하에서의 표본 분포보다 확률적으로 지배된다는 사실을 활용한다.
• 최대 및 최소 개별 치료 효과에 대한 정확한 신뢰구간을 구성하기 위해, 유한한 근본가설 검정의 순차적 뒤집힘을 적용한다.
• 모든 분위수에 대한 추론을 가능하게 하기 위해, '적어도 p 비율의 단위가 효과 ≤ τ를 가진다'는 형태의 유한한 근본가설을 검정하는 방식으로 프레임워크를 일반화한다.
• 스텝헨슨 순위합(s를 조정파rameter로 가짐) 및 윌코크슨 순위합과 같은 순위 기반 검정 통계량을 사용하여 극단적 효과에 대한 민감도를 향상시키고 검정력 향상을 도모한다.
• 모든 분위수에 대해 균일하게 유효한 동시에 동시에 유효한 신뢰구간을 유도하여, 다중성 조정이 필요 없음을 보여준다.

실험 결과

연구 질문

• RQ1 랜덤화 검정은 날카로운 근본가설을 초월하여 더 현실적인 유한한 근본가설 하에서도 유효한 추론을 가능하게 할 수 있는가?
• RQ2 유한한 근본가설 하에서 랜덤화 검정을 사용하여 최대 또는 최소 개별 치료 효과에 대한 정확한 신뢰구간을 구성할 수 있는가?
• RQ3 랜덤화 검정은 개별 치료 효과 분포의 임의의 분위수에 대한 정확한 비모수적 추론으로 일반화될 수 있는가?
• RQ4 스텝헨슨 순위합과 같은 순위 기반 검정 통계량은 전통적인 통계량(예: 평균 차이 또는 윌코크슨 순위합)보다 효과 이질성을 탐지하는 데 더 정보적인 결과를 제공하는가?
• RQ5 모든 분위수에 대해 다중 검정 보정 없이 同시 신뢰구간을 구성할 수 있는가?

주요 결과

• 원래 날카로운 근본가설을 위해 설계된 랜덤화 검정은, 모든 효과 ≤ 0과 같은 유한한 근본가설 하에서도 정확히 유효하다. 이는 더 넓은 추론 응용 가능성을 열어준다.
• 최대 개별 효과에 대한 정확한 신뢰구간은 유한한 근본가설 검정의 순차적 뒤집힘을 통해 구성되며, 출생 월 연구에서 최대 효과의 90% 하한 신뢰구간은 약 0.084년(약 1개월)으로 추정되었다.
• 영양 치료 연구에서 s=6을 가진 스텝헨슨 순위합을 사용한 결과, 90% 하한 신뢰구간은 적어도 19.2%의 개인이 치료 하에서 더 높은 린 몸량을 가질 것임을 시사하여, 이질성에 대한 강력한 증거를 제공하였다.
• 스텝헨슨 순위합 통계량은 평균 차이 및 윌코크슨 순위합보다 효과 이질성을 탐지하는 데 더 뛰어나며, 특히 극단적 효과를 식별하는 데 유리하다.
• 모든 분위수에 대해 동시에 유효한 균일한 신뢰구간이 구성되며, 다중성 조정이 필요 없어 추론 효율성 측면에서 '무료 점심'을 제공한다.
• 이 방법은 R 패키지 RIQITE를 통해 구현되어 실제 랜덤화 실험에 대한 제안된 추론 프레임워크의 실용적 적용을 가능하게 하였다.