[논문 리뷰] Penalized regression adjusted causal effect estimates in high dimensional randomized experiments

Hanzhong Liu, Yuehan Yang|arXiv (Cornell University)|2018. 09. 24.

Advanced Causal Inference Techniques인용 수 3

한 줄 요약

이 논문은 네이만-루빈 잠재 결과 프레임워크 하에서 고차원 랜덤화 실험에서 펜라이즈드 회귀 보정 평균 인과효과(ACE) 추정량—리지, 엘라스틱 넷, 적응형 라소—에 대해 渐近 정규성과 효율성 향상을 확립한다. 위험 일致성이 있을 경우 이러한 추정량이 차분-평균 추정량보다 渐近 분산이 크지 않음을 증명하고, 타당한 신뢰구간을 위한 보수적인 분산 추정량을 제공한다.

ABSTRACT

Regression adjustments are often considered by investigators to improve the estimation efficiency of causal effect in randomized experiments when there exists many pre-experiment covariates. In this paper, we provide conditions that guarantee the penalized regression including the Ridge, Elastic Net and Adapive Lasso adjusted causal effect estimators are asymptotic normal and we show that their asymptotic variances are no greater than that of the simple difference-in-means estimator, as long as the penalized estimators are risk consistent. We also provide conservative estimators for the asymptotic variance which can be used to construct asymptotically conservative confidence intervals for the average causal effect (ACE). Our results are obtained under the Neyman-Rubin potential outcomes model of randomized experiment when the number of covariates is large. Simulation study shows the advantages of the penalized regression adjusted ACE estimators over the difference-in-means estimator.

연구 동기 및 목표

• 많은 사전 처리 공변량을 가진 고차원 랜덤화 실험에서 차분-평균 추정량의 비효율성을 해결하기 위해.
• 네이먼-루빈 모델 하에서 펜라이즈드 회귀 보정 ACE 추정량에 대해 특별히 渐近 정규성과 분산 감소를 포함한 이론적 보장을 수립하기 위해.
• 고차원 설정에서 타당한 점근적 신뢰구간을 구성하기 위해 보수적인 분산 추정량을 제공하기 위해.
• 일반 최소제곱법이 과적합으로 인해 실패하는 고차원 설정으로 저차원 회귀 보정 이론을 확장하기 위해.
• 리지, 엘라스틱 넷, 적응형 라소의 유한 표본 성능과 강인성에 대해 고차원 공변량 하에서 인과추론에 어떻게 영향을 미치는지 조사하기 위해.

제안 방법

• 평균 인과효과(ACE)를 치료군과 대조군에서의 잠재 결과의 평균 차이로 정의하기 위해 네이먼-루빈 잠재 결과 모델을 사용한다.
• 고차원 공변량을 보정하기 위해 펜라이즈드 회귀(리지, 엘라스틱 넷, 적응형 라소)를 적용하여 과적합을 방지하기 위해 일반 최소제곱법을 대체한다.
• 펜라이즈드 회귀 보정 ACE 추정량이 위험 일치성 조건 하에서 점근적으로 정규분포를 따르고, 차분-평균 추정량보다 분산이 크지 않음을 도출한다.
• 펜라이즈드 추정량의 점근적 분산을 기반으로 보수적인 분산 추정량을 제안하여 타당한 신뢰구간을 가능하게 한다.
• 시뮬레이션에서 표준오차를 추정하고 신뢰구간의 커버리지 및 길이를 평가하기 위해 부트스트랩 리샘플링(B=500)을 활용한다.
• 유한 모집단에서 무작위로 선택하지 않는 샘플링 하에서 정규화의 추정 효율성과 추론 타당성에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 고차원 랜덤화 실험에서 펜라이즈드 회귀 보정 ACE 추정량이 언제 점근적으로 정규분포를 따를 수 있는가?
• RQ2 위험 일치성 조건 하에서 펜라이즈드 회귀 추정량이 차분-평균 추정량보다 점근적 분산이 크지 않은가?
• RQ3 펜라이즈드 추정량의 점근적 분산에서 유도된 보수적인 분산 추정량이 점근적으로 보수적인 신뢰구간을 제공하는가?
• RQ4 리지, 엘라스틱 넷, 적응형 라소는 고차원 설정에서 비보정 및 OLS 추정량에 비해 편향, 분산, 커버리지 측면에서 어떻게 성능을 발휘하는가?
• RQ5 비선형 관계, 고정 공변량 등의 모형 오Specification이 인과추론에서 펜라이즈드 회귀 보정의 성능에 어떤 영향을 미치는가?

주요 결과

• 위험 일치성이 확보된 조건 하에서 리지, 엘라스틱 넷, 적응형 라소 등의 펜라이즈드 회귀 보정 ACE 추정량은 미약한 정규성 조건 하에서 점근적으로 정규분포를 따르며.
• 모든 펜라이즈드 추정량의 점근적 분산은 차분-평균 추정량보다 크지 않음을 확인하여 효율성 향상을 확인하였다.
• 보수적인 분산 추정량을 도출하고, 이들이 점근적으로 보수적인 신뢰구간을 제공함을 입증하여, 표본 수가 유한할 경우 커버리지가 향상됨을 보였다.
• 시뮬레이션 결과, 라소, 엘라스틱 넷, 적응형 라소 추정량은 특히 고차원 설정에서 비보정 차분-평균 추정량보다 평균제곱오차(MSE)와 분산이 유의미하게 낮게 나타났다.
• 조정되지 않은 엘라스틱 넷 추정량(튜닝 없음)은 낮은 커버리지(예: (500,120)에서 52.3%)를 보였지만, 적절히 튜닝된 버전(예: EN, Ada)은 90% 이상의 커버리지를 유지하였다.
• 리지 및 적응형 라소 추정량은 MSE와 신뢰구간 길이 측면에서 비보정 및 OLS 추정량을 일관되게 뛰어넘었으며, 일부 시나리오에서 MSE가 최대 70% 감소하였다.