[논문 리뷰] Double/Debiased Machine Learning for Dynamic Treatment Effects via g-Estimation

Greg Lewis, Vasilis Syrgkanis|arXiv (Cornell University)|2020. 02. 17.

Advanced Causal Inference Techniques참고 문헌 47인용 수 6

한 줄 요약

이 논문은 이중/편향 제거 기계학습을 시간에 따라 변화하는 치료 효과를 추정하기 위해 순차적 치료 제도에서 적용하기 위해 네이먼 수직, 교차 적합된 g-추정 프레임워크로 확장한다. 이는 기계학습을 통해 고차원적 제어를 가능하게 하고, 구조적 파rameter에 대해 루트-n 점근적 추론을 제공하며, 최소한의 반모수적 제약 조건 하에서 오프-정책 평가 및 이질적 효과 추정을 지원한다.

ABSTRACT

We consider the estimation of treatment effects in settings when multiple treatments are assigned over time and treatments can have a causal effect on future outcomes or the state of the treated unit. We propose an extension of the double/debiased machine learning framework to estimate the dynamic effects of treatments, which can be viewed as a Neyman orthogonal (locally robust) cross-fitted version of $g$-estimation in the dynamic treatment regime. Our method applies to a general class of non-linear dynamic treatment models known as Structural Nested Mean Models and allows the use of machine learning methods to control for potentially high dimensional state variables, subject to a mean square error guarantee, while still allowing parametric estimation and construction of confidence intervals for the structural parameters of interest. These structural parameters can be used for off-policy evaluation of any target dynamic policy at parametric rates, subject to semi-parametric restrictions on the data generating process. Our work is based on a recursive peeling process, typical in $g$-estimation, and formulates a strongly convex objective at each stage, which allows us to extend the $g$-estimation framework in multiple directions: i) to provide finite sample guarantees, ii) to estimate non-linear effect heterogeneity with respect to fixed unit characteristics, within arbitrary function spaces, enabling a dynamic analogue of the RLearner algorithm for heterogeneous effects, iii) to allow for high-dimensional sparse parameterizations of the target structural functions, enabling automated model selection via a recursive lasso algorithm. We also provide guarantees for data stemming from a single treated unit over a long horizon and under stationarity conditions.

연구 동기 및 목표

• 치료가 시간에 따라 할당되고 향후 결과 또는 상태에 영향을 미칠 때 동적 치료 효과를 추정하기 위해.
• 특히 구조적 네스트드 미디안 모형(SNMMs)을 포함한 비선형 동적 치료 모형으로 이중/편향 제거 기계학습을 확장하기 위해.
• 고차원적 상태 변수에 대해 기계학습을 허용하면서도 구조적 파rameter에 대해 루트-n 점근적 추론을 유지하기 위해.
• 반모수적 제약 조건 하에서 임의의 목표 동적 정책에 대한 오프-정책 평가를 파arametric 속도로 지원하기 위해.
• 재귀적 라소를 통해 비선형 효과 이질성과 고차원적 희소 파arameter화를 재귀적으로 추정하기 위해.

제안 방법

• g-추정에 영감을 받은 재귀적 벗기기 과정을 적용하여 단계별로 동적 치료 효과를 모델링한다.
• 각 단계에서 안정적이고 효율적인 추정을 보장하기 위해 강력한 볼록 최적화 목표를 설정한다.
• 교차 적합과 네이먼 수직성을 사용하여 루트-n 점근 정규성과 기계학습 추정 오차에 대한 강건성을 확보한다.
• 기계학습을 고차원적 제어 함수에 통합하면서도 구조적 파ram터의 추정 효율성을 유지한다.
• 고차원적 희소 파arameter화된 구조적 함수에 대해 자동 모델 선택을 가능하게 하기 위해 재귀적 라소 알고리즘을 사용한다.
• 단일 치료 대상자로부터의 정적 및 장기적 데이터에서 유한 표본 보장을 유도한다.

실험 결과

연구 질문

• RQ1 이중/편향 제거 기계학습은 시간에 따라 변화하는 치료와 결과를 포함한 동적 치료 제도로 확장될 수 있는가?
• RQ2 동적 모델에서 구조적 파ram터에 대해 루트-n 추론을 유지하면서 고차원적 상태 변수를 어떻게 제어할 수 있는가?
• RQ3 고정된 단위 특성에 대한 비선형 효과 이질성은 동적 설정에서 임의의 함수 공간 내에서 추정할 수 있는가?
• RQ4 재귀적 라소는 동적 구조적 함수에 대한 자동 모델 선택을 어떻게 가능하게 하는가?
• RQ5 단일 단위, 장기적 수평 설정에서 이 방법이 오프-정책 평가에 대해 유효한 추론을 제공하는 조건은 무엇인가?

주요 결과

• 반모수적 제약 조건 하에서 구조적 파ram터에 대해 루트-n 점근 정규성을 달성하여 유효한 신뢰구간과 가설 검정을 가능하게 한다.
• 고차원적 혼동 요인이 존재하더라도 임의의 목표 동적 정책에 대한 오프-정책 평가를 파arametric 속도로 지원한다.
• 단위 특성에 따른 비선형 효과 이질성은 임의의 함수 공간 내에서 추정 가능하며, RLearner 프레임워크를 동적 설정으로 확장한다.
• 재귀적 라소 알고리즘이 고차원 설정에서 구조적 함수의 희소 파arameter화에 대한 자동, 데이터 기반의 모델 선택을 가능하게 한다.
• 정적 조건 하에서 단일 치료 대상자로부터의 데이터에 대해 유한 표본 보장을 확립한다.
• 네이먼 수직성과 교차 적합을 통해 기계학습 추정 오차에 대한 강건성을 유지한다.