[논문 리뷰] Fisher-Schultz Lecture: Generic Machine Learning Inference on Heterogenous Treatment Effects in Randomized Experiments, with an Application to Immunization in India

Victor Chernozhukov, Mert Demirer외 2명|arXiv (Cornell University)|2017. 12. 13.

Advanced Causal Inference Techniques인용 수 9

한 줄 요약

이 논문은 반복적인 데이터 분할과 분위수 집계를 활용하여 유효한 추론을 보장하는, 임의의 실험에서 이질적 치료 효과를 추정하고 추론하기 위한 일반적이고 중립적인 프레임워크를 제안한다. 이 방법은 강력한 모델링 가정 없이도 의미 있는 이질성을 발견할 수 있게 하며, 인도의 예방접종에 대한 뉴지(자극) 효과가 매우 맥락 의존적임을 보여주는 응용 사례를 포함한다.

ABSTRACT

We propose strategies to estimate and make inference on key features of heterogeneous effects in randomized experiments. These key features include best linear predictors of the effects using machine learning proxies, average effects sorted by impact groups, and average characteristics of most and least impacted units. The approach is valid in high dimensional settings, where the effects are proxied (but not necessarily consistently estimated) by predictive and causal machine learning methods. We post-process these proxies into estimates of the key features. Our approach is generic, it can be used in conjunction with penalized methods, neural networks, random forests, boosted trees, and ensemble methods, both predictive and causal. Estimation and inference are based on repeated data splitting to avoid overfitting and achieve validity. We use quantile aggregation of the results across many potential splits, in particular taking medians of p-values and medians and other quantiles of confidence intervals. We show that quantile aggregation lowers estimation risks over a single split procedure, and establish its principal inferential properties. Finally, our analysis reveals ways to build provably better machine learning proxies through causal learning: we can use the objective functions that we develop to construct the best linear predictors of the effects, to obtain better machine learning proxies in the initial step. We illustrate the use of both inferential tools and causal learners with a randomized field experiment that evaluates a combination of nudges to stimulate demand for immunization in India.

연구 동기 및 목표

• 임의의 실험에서 머신러닝 프록시를 사용하여 이질적 치료 효과를 추정하고 추론하기 위한 일반적이고 중립적인 방법을 개발하는 것.
• 반복적인 데이터 분할과 결과의 분위수 집계를 통해 하위군 분석에서의 과적합과 p-해킹 문제를 해결하는 것.
• 사전에 하위군이나 파rametric 형태를 지정하지 않아도 의미 있는 이질성을 발견할 수 있도록 하는 것.
• 실제 랜덤화 실험 데이터를 사용하여 고차원 설정에서의 방법의 타당성과 강건성을 입증하는 것.
• 인과학습을 통해 치료 효과의 선형 예측자들을 더 잘 구성함으로써 머신러닝 프록시의 품질을 향상시키는 방법을 보여주는 것.

제안 방법

• 고차원 설정에서 과적합을 방지하고 유효한 추론을 보장하기 위해 반복적인 데이터 분할을 사용하는 것.
• 복수의 분할에 걸쳐 p-값과 신뢰구간의 중앙값을 포함한 분위수 집계를 통해 복제 위험을 줄이는 것.
• 랜덤 포레스트, 신경망, 라소 등에서 유도된 머신러닝 프록시를 후처리하여 핵심 특성의 추정치를 도출하는 것: 최적의 선형 예측자, 정렬된 평균 효과, 가장/가장 덜 영향을 받은 단위의 특성.
• 머신러닝 방법이 결과와 성향 스코어를 모두 추정하는 더블로버스트 프레임워크를 적용하여 더 약한 가정 하에서도 일관성을 확보하는 것.
• 최적의 선형 예측자의 목적 함수를 사용하여 인과학습을 통해 반복적으로 머신러닝 프록시를 향상시키는 것.
• 목표 함수를 일반적인 신호로 간주함으로써 다른 인과 추론 문제로 일반화하는 것, 예를 들어 조건부 평균 인과도수 또는 분포 변화 하에서의 효과.

실험 결과

연구 질문

• RQ1 사전에 하위군을 지정하지 않아도 임의의 실험에서 이질적 치료 효과를 신뢰성 있게 탐지하고 추정할 수 있는가?
• RQ2 고차원 설정에서 치료 효과의 머신러닝 프록시를 사용할 경우 유효한 추론을 확보하는 방법은 무엇인가?
• RQ3 반복적인 데이터 분할과 분위수 집계는 추정 위험을 줄이고 추론의 강건성을 향상시키는 데 어떤 영향을 미치는가?
• RQ4 인과학습은 치료 효과 추정에 사용되는 머신러닝 프록시의 품질을 향상시킬 수 있는가?
• RQ5 인도의 예방접종을 위한 행동적 뉴지가 마을 간에 어떻게 이질적인 효과를 낳는가?

주요 결과

• 이 방법은 소액의 인centives, 정보 허브, SMS 알림을 조합한 예방접종 뉴지가 큰 맥락 의존적 효과를 가지며, 일부 마을에서는 오히려 반대 효과를 낳을 수 있음을 성공적으로 규명했다.
• 단일 분할 절차에 비해 분위수 집계가 추정 위험을 크게 줄여 추론의 신뢰성을 향상시켰다.
• 이 접근법은 하위군 분석에서 나타나는 유사한 이질성이 종종 허위 발견임을 드러내었으며, 체계적인 머신러닝 기반 추론이 거짓 발견을 방지할 수 있음을 보여주었다.
• 인과학습은 더 나은 치료 효과의 선형 예측자를 구성함으로써 머신러닝 프록시의 품질을 향상시켜 예측 정확도를 높였다.
• 인도의 예방접종 연구에서 가장 효과적인 간 interventions는 저기본 접종률 마을에서만 비용 효율적이었으며, 맥락에 맞는 프로토타이핑의 필요성을 강조했다.
• 머신러닝 프록시가 일관되게 추정되지 않더라도 이 방법은 타당성을 유지하여 모델의 잘못된 특정화에 강건함을 보였다.