[논문 리뷰] A unifying approach for doubly-robust $\ell_1$ regularized estimation of causal contrasts

Ezequiel Smucler, Andrea Rotnitzky외 1명|arXiv (Cornell University)|2019. 04. 07.

Statistical Methods and Inference참고 문헌 44인용 수 30

한 줄 요약

이 논문은 영향 함수에 맞춘 손실 함수를 사용하여 샘플 분할과 교차 적합을 적용한 이중로버스트 ℓ₁-정규화 추정을 위한 통합 프레임워크를 제안한다. 이 방법은 적어도 두 개의 부수적 함수(예: 결과 회귀 또는 성향 스코어) 중 하나가 근사적으로 희박할 경우, 루트-n 일致성과 점근 정규성을 보장하는 데 성공한다.

ABSTRACT

We consider inference about a scalar parameter under a non-parametric model based on a one-step estimator computed as a plug in estimator plus the empirical mean of an estimator of the parameter's influence function. We focus on a class of parameters that have influence function which depends on two infinite dimensional nuisance functions and such that the bias of the one-step estimator of the parameter of interest is the expectation of the product of the estimation errors of the two nuisance functions. Our class includes many important treatment effect contrasts of interest in causal inference and econometrics, such as ATE, ATT, an integrated causal contrast with a continuous treatment, and the mean of an outcome missing not at random. We propose estimators of the target parameter that entertain approximately sparse regression models for the nuisance functions allowing for the number of potential confounders to be even larger than the sample size. By employing sample splitting, cross-fitting and $\ell_1$-regularized regression estimators of the nuisance functions based on objective functions whose directional derivatives agree with those of the parameter's influence function, we obtain estimators of the target parameter with two desirable robustness properties: (1) they are rate doubly-robust in that they are root-n consistent and asymptotically normal when both nuisance functions follow approximately sparse models, even if one function has a very non-sparse regression coefficient, so long as the other has a sufficiently sparse regression coefficient, and (2) they are model doubly-robust in that they are root-n consistent and asymptotically normal even if one of the nuisance functions does not follow an approximately sparse model so long as the other nuisance function follows an approximately sparse model with a sufficiently sparse regression coefficient.

연구 동기 및 목표

• 관측 연구에서 조정 변수의 수가 표본 크기를 초과하는 고차원 설정에서 원인 대비를 추정하기 위한 통합적 접근법을 개발하는 것.
• 이중로버스트 방법을 확장하여 동시에 속도 이중로버스트성과 모델 이중로버스트성을 달성하는 것.
• 적어도 하나의 부수적 함수가 비희박하지만 다른 하나가 근사적으로 희박할 경우에도 루트-n 일치성과 점근 정규성을 보장하는 것.
• 기존의 ATE를 넘어서 연속 처리 효과나 누락되지 않은 데이터의 모수 등 더 넓은 원인 기능의 클래스로 일반화하는 것.
• 샘플 분할, 교차 적합, 영향 함수에 맞춘 손실 함수를 사용한 ℓ₁-정규화 회귀를 포함하는 이론적으로 탄탄하고 실용적인 프레임워크를 제공하는 것.

제안 방법

• 이 방법은 영향 함수 추정치의 플러그인 추정과 표본 평균을 기반으로 하는 일단계 추정기를 사용한다.
• 고차원 설정에서 과적합으로 인한 편향을 줄이기 위해 샘플 분할과 교차 적합을 적용한다.
• 부수적 함수(예: 결과 회귀 및 성향 스코어)는 영향 함수의 방향 도함수와 일치하는 목적 함수를 사용한 ℓ₁-정규화 회귀로 추정된다.
• 이 방법은 속도 이중로버스트성으로 설계되어 있으며, 적어도 하나의 부수적 함수가 근사적으로 희박할 경우 일치성과 점근 정규성을 확보한다.
• 또한 모델 이중로버스트성도 갖추며, 한 부수적 함수가 근사적으로 희박할 경우, 다른 함수의 희박성에 관계없이 일치성과 점근 정규성을 보장한다.
• 이 프레임워크는 ATE, ATT, 연속 처리 대비, 누락되지 않은 데이터 메커니즘 하의 평균 결과 등 넓은 범위의 기능에 적용 가능하다.

실험 결과

연구 질문

• RQ1 단일 방법이 고차원 원인 추론에서 동시에 속도 이중로버스트성과 모델 이중로버스트성을 달성할 수 있는가?
• RQ2 부수적 함수 중 하나가 비희박할 경우 ℓ₁-정규화 추정이 어떻게 조정되어야 하는가?
• RQ3 목표 파rameter의 영향 함수와 일치하기 위해 ℓ₁-정규화 추정에 최적의 손실 함수는 무엇인가?
• RQ4 점근 이론이 표본 분포를 잘 근사하지 못하는 경우, 유한 표본 성능은 어떻게 유지되는가?
• RQ5 이 프레임워크는 ATE를 넘어서 연속 선형 조건부 평균 함수의 기능 클래스에 속하는 다른 원인 기능으로 일반화될 수 있는가?

주요 결과

• 제안된 추정기는 속도 이중로버스트성과 모델 이중로버스트성을 모두 확보하여, 적어도 하나의 부수적 함수가 근사적으로 희박할 경우 루트-n 일치성과 점근 정규성을 보장한다.
• 시뮬레이션 결과, 이중로버스트 추정기 중심의 Wald 신뢰구간의 커버리지율은 대부분의 시나리오에서 명목상 95% 수준에 가까웠지만, 점근 근사가 나쁜 경우를 제외하고는 그러했다.
• 진짜 함수가 초희박하지 않은 경우(예: αₐ = 1.5), 점근 이론은 정규성을 보장하지 못했고, 편향이 관찰되어 표본 수가 유한할 경우의 한계를 시사했다.
• 예측 변수의 수를 200에서 100으로 줄였을 때, 이중로버스트 추정기의 편향은 표준 오차보다 수개의 차수만큼 작아졌으며, 이는 표본 수가 유한할 경우 성능 향상을 의미한다.
• 표준 오차 추정기는 진짜 변동성을 과소평가하는 경향이 있었고, 이는 특히 p=200일 때 95% 신뢰구간의 커버리지가 부족해지는 결과를 초래했다.
• 일부 경우에서, 잘못된 부수적 함수를 모델링한 나이브 추정기의 편향은 이중로버스트 추정기와 유사하거나 더 작게 나타났다. 이는 특정 데이터 생성 과정에서의 불안정성 또는 모델 특화의 산물일 수 있음을 시사한다.