[논문 리뷰] Nonparametric identification is not enough, but randomized controlled trials are

Peter M. Aronow, James M. Robins외 3명|arXiv (Cornell University)|2021. 08. 25.

Advanced Causal Inference Techniques참고 문헌 33인용 수 9

한 줄 요약

이 논문은 관찰 연구에서 비모수적 식별이 조건부 독립성 조건이 만족하더라도 신뢰할 수 있는 추정을 위한 충분한 조건가 아니라고 주장한다. 임의화 실험(RCTs)은 유일하게 알려진 성향스코어를 제공하므로, 균일하게 일관된 추정기와 진정한 신뢰구간을 가능하게 하며, 이는 파arametric 속도로 수렴한다. 이는 관찰 연구에서는 조건부 독립성 조건이 만족하더라도 보장되지 않는 조건이다.

ABSTRACT

We argue that randomized controlled trials (RCTs) are special even among settings where average treatment effects are identified by a nonparametric unconfoundedness assumption. This claim follows from two results of Robins and Ritov (1997): (1) with at least one continuous covariate control, no estimator of the average treatment effect exists which is uniformly consistent without further assumptions, (2) knowledge of the propensity score yields a uniformly consistent estimator and honest confidence intervals that shrink at parametric rates with increasing sample size, regardless of how complicated the propensity score function is. We emphasize the latter point, and note that successfully-conducted RCTs provide knowledge of the propensity score to the researcher. We discuss modern developments in covariate adjustment for RCTs, noting that statistical models and machine learning methods can be used to improve efficiency while preserving finite sample unbiasedness. We conclude that statistical inference has the potential to be fundamentally more difficult in observational settings than it is in RCTs, even when all confounders are measured.

연구 동기 및 목표

• 관찰 연구에서 비모수적 식별만으로도 신뢰할 수 있는 인과추론이 충분하다는 개념을 도전한다.
• 조건부 독립성 조건을 만족하는 것 외에 RCTs가 가지는 고유한 통계적 이점을 입증한다.
• RCTs에서 보장되는 성향스코어의 지식이 균일하게 일관된 추정기와 파arametric 속도의 추론을 가능하게 한다는 점을 보여준다.
• 크기가 크고 측정된 혼동요인들이 존재하더라도 표준 추정기의 한계를 부각한다.
• 알고리즘적 실험과 천연 실험에서 할당 메커니즘을 기록하여 추정 효율성을 유지할 것을 주장한다.

제안 방법

• 연속적 공변수 조건 하에서 성향스코어 지식이 없으면 평균처리효과에 대한 균일하게 일관된 추정기가 존재하지 않는다는 점을 Robins-Ritov(1997)의 결과를 활용하여 입증한다.
• Horvitz-Thompson 추정기 프레임워크를 사용하여 알려진 성향스코어가 존재할 경우 루트-n 일관성과 편향 없는 추정기, 그리고 진정한 신뢰구간을 가능하게 한다.
• 매끄럽고 매우 비선형적인 함수를 포함한 다양한 데이터 생성 과정을 사용한 시뮬레이션 실험을 통해 추정기 성능을 비교한다.
• 진짜 성향스코어를 사용하는지, 추정된 성향스코어를 사용하는지, 또는 전혀 사용하지 않는지에 따라 다른 실험 설정에서 추정기 성능을 비교한다.
• 고차원적, 비선형적 환경에서의 성능 평가를 위해 이중로버스트 추정 및 랜덤 포레스트와 같은 현대적 방법을 적용한다.
• 관찰 추론에서 '차원의 저주'의 표현으로서 고차원적 연속 공변수의 영향을 분석한다.

실험 결과

연구 질문

• RQ1 왜 연속적 공변수 조건 하에서 관찰 연구에서 비모수적 식별만으로도 큰 표본 크기 조건이 만족하더라도 평균처리효과에 대한 균일하게 일관된 추정기가 존재하지 않는가?
• RQ2 조건부 독립성 조건 외에 RCTs는 어떤 고유한 통계적 이점을 제공하는가?
• RQ3 성향스코어 지식이 어떻게 균일하게 일관된 추정과 파arametric 속도의 추론을 가능하게 하는가?
• RQ4 성향스코어를 알지 못할 경우 현대 기계학습 방법이 관찰 연구에서 추정 성능을 얼마나 향상시키는가?
• RQ5 할당 확률이 기록되지 않은 경우 알고리즘적 또는 자연 실험에서 RCTs의 추정 이점을 재현할 수 있는가?

주요 결과

• 연속적 공변수 조건 하에서 비모수적 식별과 큰 표본 크기 조건이 만족하더라도, 추가적인 가정이 없으면 관찰 연구에서 평균처리효과에 대한 균일하게 일관된 추정기는 존재하지 않는다.
• 진짜 성향스코어 지식이 있으면, 결과 함수나 성향스코어 함수의 복잡성과 관계없이 균일하게 일관된 추정기와 파arametric 속도로 수렴하는 진정한 신뢰구간이 가능하다.
• 진짜 성향스코어를 사용하는 추정기는 비선형적이거나 고차원적 환경에서 그렇지 않은 경우보다 뚜렷이 우수한 성능을 보인다.
• 시뮬레이션 결과에서 추정된 성향스코어를 사용하는 추정기는 진짜 성향스코어를 사용하는 경우보다 성능이 열 劣하다. 특히 데이터 생성 과정이 악성 또는 매우 비선형인 경우 뚜렷한 성능 열 劣가 나타난다.
• RCTs는 할당 메커니즘(즉, 성향스코어)의 지식을 내재적으로 제공하므로 특별한 존재이다. 이는 신뢰할 수 있는 추론에 매우 중요하다.
• 알고리즘 시스템에서는 공변수가 기록되어 있어도 할당 확률에 접근할 수 없으면 추정 성능이 열 劣해지며, 이는 성향스코어 기록의 필요성을 강조한다.