[논문 리뷰] Removing Hidden Confounding by Experimental Grounding

Nathan Kallus, Aahlad Puli외 1명|arXiv (Cornell University)|2018. 10. 27.

Advanced Causal Inference Techniques참고 문헌 12인용 수 31

한 줄 요약

이 논문은 실험 데이터가 제한되어 있음에도 불구하고, 관찰 데이터와의 최소한의 겹침이 있는 상황에서도 은폐된 혼동 요인을 보정하기 위해 이중 단계 방법을 제안한다. 은폐된 혼동 함수가 매개수적이고 외삽 가능하다는 가정 하에, 편향은 있지만 분산이 낮은 관찰 추정기와 편향이 없지만 분산이 높을 수 있는 실험 추정기를 조합하여 일致하고 낮은 편향을 가진 CATE 추정을 도출한다. 시뮬레이션과 실제 교육 데이터에서 기존 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Observational data is increasingly used as a means for making individual-level causal predictions and intervention recommendations. The foremost challenge of causal inference from observational data is hidden confounding, whose presence cannot be tested in data and can invalidate any causal conclusion. Experimental data does not suffer from confounding but is usually limited in both scope and scale. We introduce a novel method of using limited experimental data to correct the hidden confounding in causal effect models trained on larger observational data, even if the observational data does not fully overlap with the experimental data. Our method makes strictly weaker assumptions than existing approaches, and we prove conditions under which it yields a consistent estimator. We demonstrate our method's efficacy using real-world data from a large educational experiment.

연구 동기 및 목표

• 측정되지 않은 요인이 치료 효과 추정을 편향시키는 관찰적 인과 추론에서 은폐된 혼동 요인 문제를 다루기 위해.
• 관찰 데이터는 혼동되어 있지만 대규모이고 실험 데이터는 혼동되지 않지만 제한적이며 가능하면 겹침이 없는 상황에서 개인 수준의 인과 효과 추정(CATE)을 정확히 가능하게 하기 위해.
• 기존 방법보다 엄밀히 더 약한 가정을 하는 방법을 개발하기 위해 — 특히 모든 혼동 요인이 관측된다는 가정이 아니라 은폐된 혼동 함수가 매개수적이고 외삽 가능하다는 가정만 하기 위해.
• 대규모 RCT에서 확보된 실제 교육 데이터를 활용해, 제안된 방법의 일관성과 실증적 우수성을 입증하기 위해.

제안 방법

• 이 방법은 이중 단계 절차를 사용한다: 첫째, 실험 데이터를 이용해 은폐된 혼동 요인에 대한 매개수적 보정 함수를 추정하며, 이 함수가 관찰 집단으로 외삽 가능하다는 가정을 한다.
• 둘째, 이 보정 함수를 관찰 데이터로 학습된 CATE 모델에 적용하여 측정되지 않은 혼동 요인을 효과적으로 보정한다.
• 관찰 데이터에서 유래한 낮은 분산, 높은 편향의 추정기와 실험 데이터에서 유래한 편향이 없지만 분산이 높을 수 있는 추정기를 조합하여 편향과 분산의 일관성을 확보한다.
• 은폐된 혼동 함수가 영 함수를 포함하는 매개수적 가정의 가정이 필요하며, 이는 모든 혼동 요인이 관측된다는 가정보다 더 약한 것이다.
• 보정 함수와 CATE를 추정하기 위해 회귀 모델(예: 랜덤 포레스트, 릿지 회귀)을 사용하며, 관찰 데이터의 혼동되지 않은 검증 세트에서 평가한다.
• 대규모 RCT에서 수집된 반복 수업 크기 및 교사 보조원의 영향을 분석한 실제 데이터셋을 사용해 평가하였으며, 전체 모집단에서 참값 효과가 알려져 있다.

실험 결과

연구 질문

• RQ1 관찰 데이터가 측정되지 않은 변수에 의해 혼동되지만 실험 데이터와의 겹침이 최소한일 경우, 개인 수준의 인과 효과(CATE)를 일관되게 추정할 수 있는가?
• RQ2 은폐된 혼동 함수가 매개수적이고 외삽 가능하다는 가정이, 모든 혼동 요인이 관측된다는 가정이 필요한 기존 방법보다 더 강건하고 일관된 추정기를 만들어내는가?
• RQ3 직접 실험 데이터에 대한 회귀 분석이나 관찰 데이터에서 혼동을 忽시하는 것과 비교할 때, 제안된 방법은 추정 정확도와 일관성 측면에서 어떻게 성능을 내는가?
• RQ4 작은 실험 샘플을 효과적으로 활용해 은폐된 혼동이 심한 대규모 관찰 데이터의 편향을 보정할 수 있는가?

주요 결과

• 이중 단계 랜덤 포레스트와 이중 단계 릿지 회귀 변형을 포함한 제안된 이중 단계 방법은 검증용 혼동되지 않은 데이터 세트에서 참값 CATE 추정에서 기준선 방법보다 일관되게 뛰어난 성능을 보였다.
• 직접 실험 데이터에 대한 회귀 분석이나 차이의 평균 모델과 같은 기준선보다 루트 평균 제곱 오차(RMSE)가 유의미하게 낮았으며, 혼동되지 않은 실험 데이터 세트의 크기가 커질수록 더욱 두드러졌다.
• 실험 데이터(UNC)와 관찰 데이터(CONF) 간 겹침이 최소한일 경우에도 방법이 효과를 유지했다 — 예를 들어, UNC가 농촌 또는 내시도 학생들만 포함하는 반면, CONF는 도시 및 근교 학생들을 포함한다.
• 관찰 데이터에서 치료군에서 고성적 학생들이 선택적으로 제거된 것에 의해 발생하는 치료 효과 추정의 하향 편향을 성공적으로 보정하였다.
• 랜덤 포레스트와 릿지 회귀를 포함한 다양한 회귀 모델에서 일관된 성능 향상이 관찰되었으며, 모든 테스트 설정에서 기준선을 초월했다.
• 방법은 일관성 있는 성능을 보였다: 혼동되지 않은 실험 샘플 크기가 증가함에 따라 추정 오차(RMSE)가 감소하였으며, 이는 추정기의 이론적 일관성을 확인한다.