[논문 리뷰] Overlap in Observational Studies with High-Dimensional Covariates

Alexander D’Amour, Peng Ding외 3명|arXiv (Cornell University)|2017. 11. 07.

Advanced Causal Inference Techniques참고 문헌 38인용 수 27

한 줄 요약

이 논문은 인과적 추론에서 차원의 저주를 공식화하여, 엄격한 오버랩(Propensity 점수 0과 1에서 멀리 떨어져 있어야 한다는 조건)이 고차원 설정에서 공변량의 비균형에 강력한 전역적 제약을 가한다는 것을 보여준다. 정보 이론을 사용하여 평균 비균형에 대한 명시적 상한을 유도하며, 이 상한은 차원이 증가할수록 더욱 날카럽게 좁아진다. 이는 엄격한 오버랩 조건 하에서 공변량 평균이 거의 균형을 이루거나 상당히 상관관계가 있어야 한다는 것을 의미한다.

ABSTRACT

Estimating causal effects under exogeneity hinges on two key assumptions: unconfoundedness and overlap. Researchers often argue that unconfoundedness is more plausible when more covariates are included in the analysis. Less discussed is the fact that covariate overlap is more difficult to satisfy in this setting. In this paper, we explore the implications of overlap in observational studies with high-dimensional covariates and formalize curse-of-dimensionality argument, suggesting that these assumptions are stronger than investigators likely realize. Our key innovation is to explore how strict overlap restricts global discrepancies between the covariate distributions in the treated and control populations. Exploiting results from information theory, we derive explicit bounds on the average imbalance in covariate means under strict overlap and show that these bounds become more restrictive as the dimension grows large. We discuss how these implications interact with assumptions and procedures commonly deployed in observational causal inference, including sparsity and trimming.

연구 동기 및 목표

• 고차원 관찰 연구에서 무관측성(unconfoundedness)과 오버랩 사이의 갈등을 공식화하는 것.
• 엄격한 오버랩이 치료군과 대조군 간의 공변량 분포 차이에 대해 전역적 제약을 가한다는 것을 보여주는 것.
• 공변량의 차원이 오버랩의 실현 가능성에 미치는 영향을 정보 이론적 상한을 통해 정량화하는 것.
• 통계적 추정에서 흔히 쓰이는 트리밍(trimming)과 희박성(sparsity) 가정이 엄격한 오버랩 조건에 의해 가해지는 제약과 어떻게 상호작용하는지 평가하는 것.
• 고차원 공변량 하에서 기계학습 기반 인과 추정 방법에 있어 오버랩의 역할을 명확히 하는 것.

제안 방법

• 치료군과 대조군의 공변량 분포 간의 우도 비율에 대한 제약으로 엄격한 오버랩을 재정의하는 것.
• Rukhin(1997)의 결과를 적용하여 치료군과 대조군 분포 간의 χα-발산에 대한 명시적 상한을 도출하는 것.
• 횔더 부등식(Hölder’s inequality)을 사용하여 χα-발산의 상한을 공변량 평균의 비균형 상한으로 변환하는 것.
• 공변량 공분산 행렬의 연산자 노름을 치료 조건 하에서 분석하여 상관관계 구조가 비균형 상한에 미치는 영향을 평가하는 것.
• 세 가지 공변량 종속 구조—이ambic, 정상(stationary), 저랭크(low-rank)—를 분석하여 상관관계가 상한의 날카러움에 어떤 영향을 미치는지 평가하는 것.
• 차원 p가 증가함에 따라, 공분산 행렬의 연산자 노름이 p와 함께 증가하지 않는 한, 비균형 상한은 O(1/√p) 또는 그 이하로 스케일링됨을 도출하는 것.

실험 결과

연구 질문

• RQ1 공변량의 차원이 증가할수록 관찰 연구에서 엄격한 오버랩의 실현 가능성에 어떤 영향을 미치는가?
• RQ2 엄격한 오버랩이 치료군과 대조군 간 공변량 분포의 차이에 대해 어떤 전역적 제약을 가하는가?
• RQ3 고차원 공변량 간의 종속 구조가 비균형 상한의 날카러움에 어느 정도의 영향을 미치는가?
• RQ4 기존의 실천 방식인 트리밍과 희박성 가정이 엄격한 오버랩 조건이 가해지는 제약와 어떻게 상호작용하는가?
• RQ5 이러한 오버랩 제약 조건이 고차원에서 기계학습 기반 인과 추정 방법에 어떤 영향을 미치는가?

주요 결과

• 엄격한 오버랩은 치료군과 대조군 간 평균 절대 비균형이 공변량 수가 증가함에 따라 줄어들어야 한다는 것을 의미한다.
• 독립적이거나 약한 종속성을 가진 공변량의 경우, 비균형 상한은 O(1/√p)로 스케일링되며, 차원이 높아질수록 더욱 날카럽게 좁아진다.
• 공분산 행렬의 연산자 노름이 차원과 함께 증가하면 비균형 상한은 여전히 0이 되지 않을 수 있다; 만약 노름이 느리게 증가한다면 비균형은 0으로 수렴한다.
• 저랭크 종속 구조(예: 랭크 s_p = o(p))의 경우, 연산자 노름은 O(p/s_p)로 증가하며, 비균형 상한이 여전히 날카롭게 유지되기 위해서는 s_p가 p와 함께 증가해야 한다.
• χα-발산을 통한 유도된 상한은 L2 노름 기반 상한보다 더 날카롭게, 특히 오버랩 상한 η가 작은 경우에 두드러진다.
• 독립적인 경우이고 분산이 유계이면, 연산자 노름은 O(1)이며, p가 증가함에 따라 비균형 상한은 점점 더 엄격해진다.