[논문 리뷰] A paradox from randomization-based causal inference

Peng Ding|arXiv (Cornell University)|2014. 02. 02.

Advanced Causal Inference Techniques참고 문헌 25인용 수 12

한 줄 요약

이 논문은 랜덤화 기반 인과적 추론에서 놀라운 역설을 규명한다: 피셔의 귀무가설(개별 인과효과가 0)은 논리적으로 네이만의 귀무가설(평균 인과효과가 0)을 함의하지만, 실제로는 네이만의 검정이 귀무가설을 기각하는 동안 피셔의 검정은 기각하지 못하는 경우가 발생한다—특히 일정한 인과효과가 존재할 경우이다. 저자들은 점근적 분석, 시뮬레이션, 실제 데이터를 통해 완전 랜덤화, 분류, 쌍별 매칭, 인자 설계 실험 등 다양한 실험 설계에서 이 역설을 입증하며, 논리적 함의에도 불구하고 검정 행동에 근본적인 괴리가 존재한다는 점을 드러낸다.

ABSTRACT

Under the potential outcomes framework, causal effects are defined as comparisons between potential outcomes under treatment and control. To infer causal effects from randomized experiments, Neyman proposed to test the null hypothesis of zero average causal effect (Neyman's null), and Fisher proposed to test the null hypothesis of zero individual causal effect (Fisher's null). Although the subtle difference between Neyman's null and Fisher's null has caused lots of controversies and confusions for both theoretical and practical statisticians, a careful comparison between the two approaches has been lacking in the literature for more than eighty years. We fill in this historical gap by making a theoretical comparison between them and highlighting an intriguing paradox that has not been recognized by previous researchers. Logically, Fisher's null implies Neyman's null. It is therefore surprising that, in actual completely randomized experiments, rejection of Neyman's null does not imply rejection of Fisher's null for many realistic situations, including the case with constant causal effect. Furthermore, we show that this paradox also exists in other commonly-used experiments, such as stratified experiments, matched-pair experiments, and factorial experiments. Asymptotic analyses, numerical examples, and real data examples all support this surprising phenomenon. Besides its historical and theoretical importance, this paradox also leads to useful practical implications for modern researchers.

연구 동기 및 목표

• 네이만의 랜덤화 기반 인과적 추론 프레임워크와 피셔의 랜덤화 기반 인과적 추론 프레임워크 사이의 오랫동안 지속된 이론적 모호성을 해결하기 위해.
• 피셔의 귀무가설(영향력이 없는 개인적 인과효과)이 논리적으로 네이만의 귀무가설(영향력이 없는 평균 인과효과)을 함의함에도 불구하고, 네이만의 검정이 귀무가설을 기각하고 피셔의 검정이 기각하지 못하는 이유를 조사하기 위해.
• 이 역설이 공통적인 실험 설계에서 임의의 현상이 아니라 체계적인 현상임을 입증하기 위해.
• 연구자들이 랜덤화 실험에서 네이만 기반 추론과 피셔 기반 추론 사이에서 검정을 선택하고 해석할 때 실용적인 지침을 제공하기 위해.

제안 방법

• 잠재적 결과 프레임워크 하에서 네이만의 귀무가설(영향력이 없는 평균 인과효과)과 피셔의 귀무가설(영향력이 없는 개인적 인과효과) 간의 이론적 비교.
• 두 귀무가설 하에서 검정의 검정력에 대한 점근적 분석을 통해, 인과효과가 일정할 경우 네이만의 검정이 더 강력함을 보여줌.
• $2^4$ 인자 설계에서의 수치 시뮬레이션과 실제 데이터 사례를 통해 이 역설이 실생활에서 어떻게 나타나는지 설명.
• 랜덤화 추론, 특히 피셔의 랜덤화 검정(FRT)과 스코어 검정을 사용하여 다양한 귀무가설 하에서 기각률을 평가.
• 이 역설이 발생하는 조건을 잠재적 결과 간 상관관계와 치료 배정 확률에 기반해 유도.
• 결과를 분류, 쌍별 매칭, 인자 설계 실험으로 확장하여 이 역설의 일반성 입증.

실험 결과

연구 질문

• RQ1 피셔의 귀무가설이 논리적으로 네이만의 귀무가설을 함의함에도 불구하고, 네이만의 검정이 귀무가설을 기각하고 피셔의 검정이 기각하지 못하는 조건은 무엇인가?
• RQ2 인과효과가 일정할 경우 네이만의 검정이 피셔의 검정보다 더 강력한 이유는 무엇인가? 이는 논리적 함의와 모순되는 것으로 보이지만.
• RQ3 이 역설은 완전 랜덤화 실험 이외의 실험 설계, 예를 들어 분류 또는 인자 설계에서 유지되는가?
• RQ4 다양한 검정 통계량(예: t통계량, 콜모고로프-스미르노프, 윌코크슨-맨-휘트니)은 이 역설의 행동에 어떤 영향을 미치는가?
• RQ5 이 역설은 연구자들이 랜덤화 실험에서 네이만 기반 추론과 피셔 기반 추론 사이에서 선택할 때 실용적 영향을 미치는가?

주요 결과

• 완전 랜덤화 실험에서, 네이만의 검정은 피셔의 검정이 기각하지 못할 때조차 귀무가설을 기각할 수 있다—특히 일정한 인과효과가 존재할 경우.
• 이 역설은 인과효과가 일정할 경우 네이만의 검정의 점근적 검정력이 피셔의 검정을 초월하기 때문에 발생한다—비록 피셔의 귀무가설이 네이만의 귀무가설을 논리적으로 함의하더라도.
• 이 역설은 완전 랜덤화 실험에 국한되지 않으며, 분류, 쌍별 매칭, 인자 설계 실험에서도 발생한다—점근적 이론과 실제 데이터로 확인됨.
• 피셔의 날카로운 귀무가설 하에서 콜모고로프-스미르노프 및 윌코크슨-맨-휘트니 검정 통계량의 랜덤화 분포는 네이만의 평균 귀무가설 하보다 더 산산이 흩어지므로, FRT는 평균 귀무가설 하에서 보수적으로 작용한다.
• 이 역설이 발생하는 조건은 잠재적 결과 간 상관관계와 치료 배정 확률에 달려 있으며, 금색비율의 역수(약 0.618)가 임계 기준이 된다.
• 이 역설은 다스구타 등(2015)에서 관찰된 것처럼, 인자 설계 실험에서 FRT의 역행 검정 기반 신뢰구간이 네이만 기반 신뢰구간보다 일반적으로 넓어지는 이유를 설명해 준다.