[논문 리뷰] Causal Inference of General Treatment Effects using Neural Networks with A Diverging Number of Confounders

Xiaohong Chen, Ying Liu외 2명|arXiv (Cornell University)|2020. 09. 15.

Advanced Causal Inference Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 표본 크기가 증가함에 따라 혼동 변수의 수가 증가하는 상황에서 일반적 치료 효과—예를 들어 평균, 분위수, 비대칭 최소 제곱 치료 효과—에 대한 효율적인 인과적 추론을 위한 신경망 기반 방법을 제안한다. 혼합 부드러움 클래스를 도입하고, 투여 확률을 추정하기 위해 ReLU 신경망을 활용함으로써, 차원의 극복 문제를 극복하면서도 희소성 조건이 필요하지 않게, 루트-n 일致성과 점근 정규성을 달성한다.

ABSTRACT

Semiparametric efficient estimation of various multi-valued causal effects, including quantile treatment effects, is important in economic, biomedical, and other social sciences. Under the unconfoundedness condition, adjustment for confounders requires estimating the nuisance functions relating outcome or treatment to confounders nonparametrically. This paper considers a generalized optimization framework for efficient estimation of general treatment effects using artificial neural networks (ANNs) to approximate the unknown nuisance function of growing-dimensional confounders. We establish a new approximation error bound for the ANNs to the nuisance function belonging to a mixed smoothness class without a known sparsity structure. We show that the ANNs can alleviate the "curse of dimensionality" under this circumstance. We establish the root-$n$ consistency and asymptotic normality of the proposed general treatment effects estimators, and apply a weighted bootstrap procedure for conducting inference. The proposed methods are illustrated via simulation studies and a real data application.

연구 동기 및 목표

• 표본 크기가 증가함에 따라 혼동 변수의 수가 증가하는 상황에서 일반적 치료 효과를 추정하는 문제에 대응하기 위해.
• 비모수적 추정에서 오차 함수의 비모수적 추정에서 차원의 극복 문제를 극복하기 위해.
• 신경망을 사용하여 다중 값 치료 효과에 대한 루트-n 일치성과 점근 정규성을 갖는 추정기 개발을 위해.
• 복잡한 점근 분산 추정이 필요하지 않은 가중치 부트스트랩 절차를 통해 타당한 추론을 가능하게 하기 위해.
• 기존의 희소성 정보가 알려지지 않은 혼합 부드러움 클래스 하에서 신경망 근사의 이론적 보장을 수립하기 위해.

제안 방법

• 인공신경망(ANN)으로 근사된 투여 확률를 포함하는 손실 함수를 직접 최소화하는 일반화된 최적화 프레임워크를 제안한다.
• 고차원 혼동 변수 설정에서 오차 함수(투여 확률)를 모델링하기 위해 ReLU 기반의 순환 신경망을 사용한다.
• Barron 클래스의 부분집합으로서의 혼합 부드러움 클래스를 도입하여 오차 함수의 푸리에 변환 모멘트에 대한 더 날카운 경계를 가능하게 한다.
• 이 혼합 부드러움 클래스 하에서 ANN의 새로운 근사 오차 경계를 유도하여, 증가하는 차원에 대해 강건한 성능을 보임을 보여준다.
• 약한 규칙성 조건 하에서 치료 효과 추정기의 루트-n 일치성과 점근 정규성을 수립한다.
• 복잡한 점근 분산 공식 계산이 필요하지 않은 가중치 부트스트랩 절차를 활용하여 추론을 수행한다. 특히 분위수 및 비대칭 치료 효과의 경우 유리하다.

실험 결과

연구 질문

• RQ1 표본 크기가 증가함에 따라 혼동 변수의 수가 증가하는 상황에서 신경망이 비모수적 오차 함수 추정에서 차원의 극복 문제를 효과적으로 완화할 수 있는가?
• RQ2 고차원 인과 추론에서 신경망의 빠른 근사 속도를 보장하기 위해 필요한 함수 공간 가정은 무엇인가?
• RQ3 제안된 ANN 기반 추정기는 증가하는 혼동 변수가 존재하는 상황에서도 일반적 치료 효과에 대해 루트-n 일치성과 점근 정규성을 달성하는가?
• RQ4 분위수 및 평균 치료 효과에 대해 유한 표본에서 기존 방법(예: GLM, GAM, RF, GBM, DNN)과 비교해 본다면 제안된 방법의 성능은 어떠한가?
• RQ5 가중치 부트스트랩 절차는 분위수 치료 효과와 같은 복잡한 치료 효과에 대해 점근 분산 기반 추론보다 더 정확한 신뢰 구간을 제공할 수 있는가?

주요 결과

• 제안된 ANN 기반 추정기는 혼동 변수의 수가 표본 크기와 함께 증가하는 상황에서도 일반적 치료 효과에 대해 루트-n 일치성과 점근 정규성을 달성한다.
• 혼합 부드러움 클래스에서 ANN의 근사 오차 경계는 차원에 따라 통제 가능한 방식으로 의존하여, 고차원 함수 추정에 효과적임을 보여준다.
• 시뮬레이션 연구에서, 분위수 치료 효과의 편향, 경험적 표준편차, 신뢰구간 커버리지 비율 측면에서 GLM, GAM, RF, GBM, DNN보다 ANN 기반 방법이 뛰어난 성능을 보였다.
• n=5000일 때, 모델 2에서 Q1의 커버리지 비율은 0.935, Q2는 0.940, Q3는 0.935였으며, 경험적 표준편차는 약 0.16–0.17 수준이었다.
• ANN 추정기 기반의 가중치 부트스트랩 신뢰구간은 점근 분산 기반 간격보다 더 정확한 성능을 보였으며, 모든 시나리오에서 커버리지 비율이 일관되게 0.92 이상이었다.
• 다양한 모델과 표본 크기에서 뚜렷한 강건성을 보였으며, p=10인 고차원 혼동 변수 조건에서도 낮은 편향과 양호한 커버리지 비율을 유지했다.