[논문 리뷰] Automated versus do-it-yourself methods for causal inference: Lessons learned from a data analysis competition

Vincent Dorie, Jennifer Hill외 3명|arXiv (Cornell University)|2017. 07. 09.

Advanced Causal Inference Techniques참고 문헌 46인용 수 48

한 줄 요약

이 논문은 대규모 데이터 분석 경쟁을 통해 자동화된 및 수동 원인 인과 추론 방법을 평가하며, 반응 표면을 영리하게 모델링하는 방법이 비선형 설정에서 특히 두드러지게 다른 방법들을 능가함을 발견한다. 연구는 할당 메커니즘 모델링보다 반응 표면 모델링의 우월성을 강조하며, 치료 할당과 반응 표면 간의 부적합성이 주요 성능 장벽임을 규명한다.

ABSTRACT

Statisticians have made great progress in creating methods that reduce our reliance on parametric assumptions. However this explosion in research has resulted in a breadth of inferential strategies that both create opportunities for more reliable inference as well as complicate the choices that an applied researcher has to make and defend. Relatedly, researchers advocating for new methods typically compare their method to at best 2 or 3 other causal inference strategies and test using simulations that may or may not be designed to equally tease out flaws in all the competing methods. The causal inference data analysis challenge, "Is Your SATT Where It's At?", launched as part of the 2016 Atlantic Causal Inference Conference, sought to make progress with respect to both of these issues. The researchers creating the data testing grounds were distinct from the researchers submitting methods whose efficacy would be evaluated. Results from 30 competitors across the two versions of the competition (black box algorithms and do-it-yourself analyses) are presented along with post-hoc analyses that reveal information about the characteristics of causal inference strategies and settings that affect performance. The most consistent conclusion was that methods that flexibly model the response surface perform better overall than methods that fail to do so. Finally new methods are proposed that combine features of several of the top-performing submitted methods.

연구 동기 및 목표

• 실제 관측 데이터 환경과 유사한 조건에서 다양한 자동화된 및 수동 원인 인과 추론 방법의 성능을 평가하기 위해.
• 기존 방법 비교의 한계를 해결하기 위해, 경쟁자가 적고, 편향된 시뮬레이션 및 비대표적인 데이터 생성 과정을 포함하는 경우가 많기 때문이다.
• 원인 효과 추정의 정확성과 신뢰성에 가장 크게 영향을 주는 데이터 특성과 방법론적 특징을 규명하기 위해.
• 특히 복잡하고 현실적인 데이터 환경에서 효과적인 원인 인과 추론 전략을 선택하는 데에 근거 기반 지침을 제공하기 위해.
• 대규모이고 커뮤니티 기반의 경쟁이 원인 인과 추론 분야의 방법 평가 및 방법론적 발전에 있어 가치 있는 도구임을 입증하기 위해.

제안 방법

• 연구는 'Is Your SATT Where It’s At?'라는 원인 인과 추론 데이터 분석 경쟁을 실시하였으며, 두 트랙으로 나뉘어 있었다: 자동화된 블랙박스 알고리즘과 수동 수작업 분석.
• 12개의 서로 다른 데이터 생성 과정(DGPs)에 따라 데이터가 생성되었으며, 이는 치료 할당 메커니즘, 반응 표면의 비선형성, 그리고 혼동 변수의 일치 여부에서 다양성을 보였다.
• 성능 평가에는 편향, 평균 제곱근 오차(RMSE), 그리고 95퍼센트 신뢰구간의 커버리지가 사용되었으며, 총 30개의 경쟁 방법이 평가되었다.
• 사후 분석에서는 참조 기반(진짜 데이터 구조를 알고 있는) 및 비참조 기반(데이터에서 추정된) 측정치를 사용하여 방법의 성능를 평가하고 핵심 성능 결정 요인을 규명하였다.
• 앙상블 및 머신러닝 기반 방법, 예를 들어 BART와 TMLE 조정 방법은 반응 표면을 영리하게 모델링하고 커버리지 향상을 위해 평가되었다.
• 경쟁 설계는 데이터 생성자와 방법 제출자 간의 독립성을 확보하여 평가의 편향을 줄이고 외부 타당성을 높였다.

실험 결과

연구 질문

• RQ1 다양한 데이터 생성 과정에서 자동화된 및 수동 원인 인과 추론 방법의 편향, RMSE, 커버리지 측면에서 성능를 어떻게 비교할 수 있는가?
• RQ2 반응 표면 모델링이나 할당 메커니즘 모델링과 같은 방법론적 특징 중 어떤 것이 높은 성능를 가장 강하게 예측하는가?
• RQ3 반응 표면의 비선형성과 치료 할당 메커니즘과의 불일치성 같은 데이터 특성이 방법의 성능에 얼마나 큰 영향을 미치는가?
• RQ4 다양한 방법의 장점을 조합한 앙상블 또는 하이브리드 방법이 다양한 설정에서 뛰어난 성능를 달성할 수 있는가?
• RQ5 다양한 방법에서 신뢰구간 커버리지와 편향 감소가 얼마나 잘 공존하는가? 어떤 조정 조치가 편향을 증가시키지 않으면서도 커버리지를 향상시킬 수 있는가?

주요 결과

• 반응 표면을 영리하게 모델링하는 방법은, 할당 메커니즘을 동시에 모델링하든 말든, 일관되게 성능이 뛰어났다.
• 반응 표면의 비선형성과 반응 표면 및 치료 할당 메커니즘 간의 일치하지 않는 특성이 가장 해로운 데이터 특징이었으며, 이는 편향을 크게 증가시켰다.
• 할당 메커니즘 모델링에만 집중한 방법(예: Balance Boost)보다 반응 표면을 모델링하는 것만으로도 성능이 뛰어난 방법(예: BART)이 더 우수했으며, 이는 반응 표면의 유연성 모델링이 우선시되어야 한다는 것을 시사한다.
• 다양한 모델의 장점을 조합한 앙상블 방법은 양호한 성능를 보였으며, 이는 다양한 모델링 강점을 활용할 경우 정확성과 강건성이 향상됨을 시사한다.
• 낮은 편향에도 불구하고 많은 방법이 충분한 신뢰구간 커버리지를 달성하지 못했으며, 심지어 사후 조정(예: TMLE 조정)도 일관되게 커버리지를 향상시키지 못했다.
• 메서드 성능의 50퍼센트 이상이 데이터 특성, 방법적 특성 또는 이들의 상호작용로 설명되지 않았으며, 이는 데이터셋 간 성능의 상당한 모델링되지 않은 이질성이 존재함을 시사한다.