[논문 리뷰] Recursive Partitioning for Heterogeneous Causal Effects

Susan Athey, Guido W. Imbens|arXiv (Cornell University)|2015. 04. 05.

Advanced Causal Inference Techniques참고 문헌 22인용 수 21

한 줄 요약

이 논문은 실험적 및 관찰적 연구에서 이질적 인과 효과를 추정하기 위해 정확한 순환 분할 방법을 도입한다. 나무 구축과 치료 효과 추정에 별도의 샘플을 사용함으로써 타당한 추론을 보장한다. 이 방법은 많은 공변량과 작은 표본에서도 명목상의 신뢰구간 커버리지를 유지하며, 적응형 방법보다 커버리지 성능이 뛰어나면서도 좋은 피팅 성능을 유지한다.

ABSTRACT

In this paper we study the problems of estimating heterogeneity in causal effects in experimental or observational studies and conducting inference about the magnitude of the differences in treatment effects across subsets of the population. In applications, our method provides a data-driven approach to determine which subpopulations have large or small treatment effects and to test hypotheses about the differences in these effects. For experiments, our method allows researchers to identify heterogeneity in treatment effects that was not specified in a pre-analysis plan, without concern about invalidating inference due to multiple testing. In most of the literature on supervised machine learning (e.g. regression trees, random forests, LASSO, etc.), the goal is to build a model of the relationship between a unit's attributes and an observed outcome. A prominent role in these methods is played by cross-validation which compares predictions to actual outcomes in test samples, in order to select the level of complexity of the model that provides the best predictive power. Our method is closely related, but it differs in that it is tailored for predicting causal effects of a treatment rather than a unit's outcome. The challenge is that the "ground truth" for a causal effect is not observed for any individual unit: we observe the unit with the treatment, or without the treatment, but not both at the same time. Thus, it is not obvious how to use cross-validation to determine whether a causal effect has been accurately predicted. We propose several novel cross-validation criteria for this problem and demonstrate through simulations the conditions under which they perform better than standard methods for the problem of causal effects. We then apply the method to a large-scale field experiment re-ranking results on a search engine.

연구 동기 및 목표

• 표본 크기 대비 공변량 수가 많을 때도, 치료 효과가 상이한 하위군으로 인구를 분할하는 데이터 기반 방법을 개발하는 것.
• 특히 치료 효과에 대한 타당한 통계적 추론—즉, 명목상 커버리지가 보장되는 신뢰구간—을 하위집단 내에서 가능하게 하는 것, 즉 기능적 형태가 알려지지 않은 경우에도 가능하게 하는 것.
• 다중 검정 문제를 해결하기 위해 탐색적 하위군 분석에서 데이터 기반으로 하위군을 발견할 수 있도록 하되, 유의수준 오류율이 증가하지 않도록 하는 것.
• 기존의 결과 예측을 최적화하는 회귀 트리가 아닌, 치료 효과 이질성을 최적화하는 방식으로 기계학습 기법을 인과 추론에 적응시키는 것.
• 관찰적 연구에서 선택 편향을 보정하기 위해 성향스코어 가중치를 사용하고, 비편향성 조건 하에서 작동하는 프레임워크를 제공하는 것.

제안 방법

• 이 방법은 '정확한' 접근 방식을 사용한다: 하나의 샘플은 치료 효과 이질성에 기반해 특성 공간을 순차적으로 분할함으로써 인과 숲 또는 트리를 구축하는 데 사용되고, 별도의 샘플은 각 잎에서 치료 효과를 추정하는 데 사용된다.
• 분할 기준은 결과 예측이 아니라 치료 효과 추정의 적합도를 최적화하며, 분할에 따른 분산 변화를 고려한다.
• 교차검증은 분할과 추정에 별도의 폴드를 사용함으로써 인과 설정에 맞게 적응시켜, 우연한 상관관계에 대한 과적합을 방지한다.
• 관찰적 연구의 경우, 각 잎에서 치료 효과는 성향스코어 기반 역확률가중치를 사용해 추정되며, 효율성을 향상시키기 위해 치료군과 대조군 내에서 재정규화된다.
• 모델 선택은 편향과 분산을 균형 잡기 위해, 피팅 성능 향상이더라도 치료 효과 추정의 정밀도를 떨어뜨리는 분할을 페널티 적용함으로써 이루어진다.
• 이 방법은 희박성 가정을 요구하지 않으며, 공변량 수가 표본 크기를 초과하는 경우에도 타당한 추론을 유지한다.

실험 결과

연구 질문

• RQ1 모든 시뮬레이션 설계에서 명목상의 90% 신뢰구간 커버리지를 보장하면서, 많은 공변량과 작은 표본에서도 하위군으로 인구를 데이터 기반으로 분할하고, 각 하위군에 대해 타당한 신뢰구간을 확보할 수 있는가?
• RQ2 희박성 가정이나 알려진 기능 형태를 가정하지 않더라도, 고차원 설정에서 치료 효과에 대한 명목상 커버리지가 어떻게 달성될 수 있는가?
• RQ3 데이터 적응형 모델 선택으로 인한 편향을 피하기 위해, 동일한 데이터를 모델 선택과 추정에 사용하는 적응형 방법 대비 정확한 추정이 커버리지에 얼마나 향상시키는가?
• RQ4 비편향성 조건 하에서 관찰적 연구로의 확장은 가능한가? 성향스코어 가중치는 추론 품질에 어떤 영향을 미치는가?
• RQ5 다중 검정 문제로 인한 유의수준 오류율 증가를 방지하면서, 무작위화 실험에서 후행적 하위군 탐색이 타당한지 여부는?

주요 결과

• 정확한 순환 분할 방법은 모든 시뮬레이션 설계에서 명목상의 90% 신뢰구간 커버리지 비율을 달성한다. 이는 많은 공변량과 작은 표본에서도 성립한다.
• 반면, 기계학습에서 흔히 사용되는 적응형 방법은 데이터 적응형 모델 선택으로 인한 편향으로 인해 상당히 낮은 커버리지 수준을 보이며, 종종 명목상 수준 이하로 떨어진다.
• 이 방법은 치료 효과 추정의 적합도를 잘 유지하면서도 추론의 타당성을 크게 향상시켜, 편향과 커버리지 사이의 유리한 트레이드오���잉을 보여준다.
• 이 방법은 사전에 하위군을 정의하지 않아도 랜덤화 실험에서 신뢰할 수 있는 하위군 분석을 가능하게 하여, 다중 가설 검정의 오류를 피할 수 있다.
• 관찰적 연구에서 성향스코어 가중치와 결합할 경우, 특히 치료군과 대조군 내에서 재정규화된 가중치를 사용할 경우, 타당한 추론을 유지한다.
• 이 방법은 고차원 공변량에 대해 강건하며, 희박성 가정이 필요하지 않아 임상 시험 등 환자 수가 수백 명이고 환자 특성이 많은 응용 분야에 적합하다.