[논문 리뷰] Kernel Methods for Policy Evaluation: Treatment Effects, Mediation Analysis, and Off-Policy Planning.

Rahul Singh, Liyuan Xu외 1명|arXiv (Cornell University)|2020. 10. 10.

Advanced Causal Inference Techniques참고 문헌 84인용 수 8

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내에서 재가중치를 사용하여 치료 효과, 중재 효과 및 반사적 분포를 추정함으로써 정적 및 동적 환경에서 비모수적 정책 평가를 위한 통합 커널 기반 프레임워크를 제안한다. 균일한 일致성과 유한 표본 수렴 속도를 보장하는 일행의 닫힌 형식 해를 제공하며, 시뮬레이션과 미국 일자리 캠프 프로그램에서 검증되었다.

ABSTRACT

We propose a novel framework for non-parametric policy evaluation in static and dynamic settings. Under the assumption of selection on observables, we consider treatment effects of the population, of sub-populations, and of alternative populations that may have alternative covariate distributions. We further consider the decomposition of a total effect into a direct effect and an indirect effect (as mediated by a particular mechanism). Under the assumption of sequential selection on observables, we consider the effects of sequences of treatments. Across settings, we allow for treatments that may be discrete, continuous, or even text. Across settings, we allow for estimation of not only counterfactual mean outcomes but also counterfactual distributions of outcomes. We unify analyses across settings by showing that all of these causal learning problems reduce to the re-weighting of a prediction, i.e. causal adjustment. We implement the re-weighting as an inner product in a function space called a reproducing kernel Hilbert space (RKHS), with a closed form solution that can be computed in one line of code. We prove uniform consistency and provide finite sample rates of convergence. We evaluate our estimators in simulations devised by other authors. We use our new estimators to evaluate continuous and heterogeneous treatment effects of the US Jobs Corps training program for disadvantaged youth.

연구 동기 및 목표

• 정적 및 동적 환경을 포함한 다양한 정책 설정에서 통합적이고 비모수적인 치료 효과 평가 방법을 개발하는 것.
• 평균 반사적 결과 외에도 다양한 치료 제도 하에서의 전체 반사적 결과 분포를 추정하는 것.
• 순차적 관측 변수에 대한 선택 조건 하에서 순차적 치료 설정에서 총 치료 효과를 직접 효과와 간접 효과로 분해하는 중재 분석을 수행하는 것.
• 다른 공변수 분포를 가진 대체 집단에 대한 정책 효과를 추정할 수 있도록 하는 것.
• 제안된 추정기의 균일 일치성과 유한 표본 수렴 속도를 포함한 이론적 보장을 제공하는 것.

제안 방법

• 모든 causal 추론 문제를 재생 커널 힐버트 공간(RKHS) 내의 내적 곱을 통한 예측 재가중치로 환원하는 프레임워크.
• 단 한 줄의 코드로 계산 가능한 재가중치를 위한 닫힌 형식 해를 사용하여 효율적인 구현을 가능하게 한다.
• 관측 변수에 대한 선택 조건을 가정하며, 순차적 관측 변수에 대한 선택 조건 하에서 순차적 치료 설정으로 확장된다.
• 치료는 이산형, 연속형 또는 심지어 텍스트형일 수 있어 다양한 데이터 유형에 광범위하게 적용 가능하다.
• 반사적 분포는 RKHS 내 커널 기반 중요도 샘플링을 사용하여 관측된 결과를 재가중함으로써 추정된다.
• 이론적 분석을 통해 추정기의 균일 일치성과 유한 표본 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 어떻게 하나의 비모수적 프레임워크로 치료 효과, 중재 효과 및 반사적 분포의 추정을 통합할 수 있는가?
• RQ2 RKHS 내 커널 방법이 다양한 치료 유형에 대해 닫힌 형식의 계산 효율적인 해를 제공할 수 있는가?
• RQ3 제안된 커널 기반 재가중치 추정기의 이론적 성질, 예를 들어 일치성과 수렴 속도는 무엇인가?
• RQ4 실제 정책 환경에서 연속적이고 이질적인 치료 효과를 추정하는 데 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 다른 공변수 분포를 가진 대체 집단에 대한 반사적 추론을 이 프레임워크가 처리할 수 있는가?

주요 결과

• 제안된 커널 기반 재가중치 방법은 반사적 평균 및 분포 추정에 대해 균일 일치성과 유한 표본 수렴 속도를 달성한다.
• RKHS 내에서 일행의 닫힌 형식 해를 단 한 줄의 코드로 계산할 수 있어 복잡한 정책 평가 과업에서의 구현을 크게 단순화한다.
• 이 프레임워크는 미국 일자리 캠프 프로그램의 연속적이고 이질적인 치료 효과를 성공적으로 추정하여 실용적 유용성을 입증한다.
• 이론적 가정 없이도 이산형, 연속형 및 텍스트 기반 치료 유형 전반에 걸쳐 일반화 가능하여 다양한 치료 유형에 대해 적용 가능하다.
• 기존의 다른 저자들이 설계한 시뮬레이션에서 기존 벤치마크를 능가하는 성능을 보이며, 이는 강건성과 정확성을 확인한다.
• 총 효과를 직접 효과와 간접 효과로 분해하는 과정이 일관되게 추정되며, 관측 변수에 대한 선택 조건 하에서 유효한 중재 분석을 가능하게 한다.