[논문 리뷰] From controlled to undisciplined data: estimating causal effects in the era of data science using a potential outcome framework

Francesca Dominici, Falco J. Bargagli-Stoffi외 1명|arXiv (Cornell University)|2020. 12. 12.

Advanced Causal Inference Techniques참고 문헌 228인용 수 11

한 줄 요약

이 논문은 인과 추론에서 잠재적 결과 프레임워크를 철저히 적용할 것을 주장한다. 특히 대용량 데이터와 머신러닝을 활용할 때 더욱 그렇다. 실험적 사고 방식, 타당한 연구 설계, 민감도 분석은 관찰 데이터로부터 신뢰할 수 있는 인과 효과를 추정하는 데 필수적이다. 이는 고도로 발전한 알고리즘을 사용하여 복잡한 치료 효과와 이질성을 모델링하더라도 마찬가지다.

ABSTRACT

This paper discusses the fundamental principles of causal inference - the area of statistics that estimates the effect of specific occurrences, treatments, interventions, and exposures on a given outcome from experimental and observational data. We explain the key assumptions required to identify causal effects, and highlight the challenges associated with the use of observational data. We emphasize that experimental thinking is crucial in causal inference. The quality of the data (not necessarily the quantity), the study design, the degree to which the assumptions are met, and the rigor of the statistical analysis allow us to credibly infer causal effects. Although we advocate leveraging the use of big data and the application of machine learning (ML) algorithms for estimating causal effects, they are not a substitute of thoughtful study design. Concepts are illustrated via examples.

연구 동기 및 목표

• 잠재적 결과 프레임워크를 사용한 인과 추론의 기본 원칙을 명확히 하기 위해.
• 관찰 데이터에서 인과 효과를 추정할 때 연구 설계와 가정의 핵심적인 역할을 부각하기 위해.
• 머신러닝이 인과 추정을 향상시킬 수 있지만, 사려 깊은 실험적 사고 방식을 대체하지는 못함을 보여주기 위해.
• 무시할 수 없는 가정 위반 상황에서 인과 결론의 타당성을 검증하기 위해 민감도 분석의 중요성을 강조하기 위해.
• 데이터 과학 적용 분야에서 무작위 대조 시험과 관찰 연구 사이의 격차를 메우기 위해.

제안 방법

• 잠재적 결과 프레임워크(Neyman, 1990; Rubin, 1974)를 적용하여 반사적 결과를 기반으로 인과 효과를 정의한다.
• 누락된 잠재적 결과와 평균 치료 효과(ATE)를 추정하기 위해 베이지안 방법을 사용하며, 불확실성을 정량화한다.
• 복잡한 관계를 모델링하고 이질적 치료 효과를 탐지하기 위해 머신러닝 알고리즘을 통합한다.
• 무작위 배정이 불가능한 상황에서 비슷한 실험적 방법, 예를 들어 도구 변수(IV), 회귀 불연속 설계, 합성 대조군을 활용한다.
• 무시 가능성을 위반하는 경우에도 인과 결론의 탄력성을 평가하기 위해 민감도 분 析를 수행한다.
• 주제 영역 전문 지식과 데이터 기반 방법을 결합하여 RCT의 결과를 더 넓은 인구 집단으로 일반화할 수 있는 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 어떻게 잠재적 결과 프레임워크를 사용하여 관찰 데이터에서 인과 효과를 신뢰할 수 있게 추정할 수 있는가?
• RQ2 빅데이터와 머신러닝을 사용할 때조차도 연구 설계가 타당한 인과 추론을 보장하는 데 어떤 역할을 하는가?
• RQ3 머신러닝은 관찰 연구에서 이질적 인과 효과의 추정을 어떻게 향상시킬 수 있는가?
• RQ4 가정 위반이 발생할 경우 민감도 분 析가 인과 결론의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ5 인과 추론 방법을 사용하여 랜덤화된 대조 시험의 결과를 더 넓은 인구 집단으로 일반화할 수 있는가?

주요 결과

• 신뢰할 수 있는 인과 추론을 위해서는 데이터의 질, 연구 설계, 핵심 가정 준수 정도가 데이터 양보다 더 중요하다.
• 머신러닝 방법은 이질적 인과 효과를 보이는 하위집단을 식별하는 데 강력한 잠재력을 보이지만, 인과 모델링과의 신중한 통합이 필요하다.
• 무시 가능성을 위반하는 경우에도 인과 결론의 탄력성을 평가하기 위해 민감도 분 析가 필수적이다.
• 무작위 배정이 불가능한 상황에서 도구 변수와 회귀 불연속 설계와 같은 준실험적 방법은 타당한 인과 추정을 제공한다.
• 베이지안 접근법은 복잡한 상황에서 인과 효과에 대한 신뢰도를 정량화하고 믿음의 업데이트를 위한 일관된 프레임워크를 제공한다.
• 데이터가 풍부한 환경에서도 주제 영역 전문 지식은 유효한 식별 전략을 식별하고 인과 메커니즘을 해석하는 데 필수적이다.