[논문 리뷰] A General Framework for Treatment Effect Estimation in Semi-Supervised and High Dimensional Settings

Abhishek Chakrabortty, Guorong Dai|arXiv (Cornell University)|2022. 01. 03.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 논문은 레이블이 있는(반응과 공변량 포함) 및 레이블이 없는(공변량만 포함) 데이터를 모두 활용하여 고차원 설정에서 평균 및 분위수 처리 효과를 추정하기 위한 일반적인 준감독 프레임워크를 제안한다. 큰 비라벨 데이터 샘플을 활용함으로써, 적절한 성향 스코어 사양 조건 하에서 루트-n 일致성과 점근 정규성을 달성하며, 비감독 방법에 비해 더 높은 강건성과 효율성을 확보한다. 이는 고차원에서 비모수적으로 오차 함수를 추정할 경우에도 성립한다.

ABSTRACT

In this article, we aim to provide a general and complete understanding of semi-supervised (SS) causal inference for treatment effects. Specifically, we consider two such estimands: (a) the average treatment effect and (b) the quantile treatment effect, as prototype cases, in an SS setting, characterized by two available data sets: (i) a labeled data set of size $n$, providing observations for a response and a set of high dimensional covariates, as well as a binary treatment indicator; and (ii) an unlabeled data set of size $N$, much larger than $n$, but without the response observed. Using these two data sets, we develop a family of SS estimators which are ensured to be: (1) more robust and (2) more efficient than their supervised counterparts based on the labeled data set only. Beyond the 'standard' double robustness results (in terms of consistency) that can be achieved by supervised methods as well, we further establish root-n consistency and asymptotic normality of our SS estimators whenever the propensity score in the model is correctly specified, without requiring specific forms of the nuisance functions involved. Such an improvement of robustness arises from the use of the massive unlabeled data, so it is generally not attainable in a purely supervised setting. In addition, our estimators are shown to be semi-parametrically efficient as long as all the nuisance functions are correctly specified. Moreover, as an illustration of the nuisance estimators, we consider inverse-probability-weighting type kernel smoothing estimators involving unknown covariate transformation mechanisms, and establish in high dimensional scenarios novel results on their uniform convergence rates, which should be of independent interest. Numerical results on both simulated and real data validate the advantage of our methods over their supervised counterparts with respect to both robustness and efficiency.

연구 동기 및 목표

• 준감독 고차원 설정에서 평균 및 분위수 처리 효과를 추정하기 위한 일반적 프레임워크를 개발하는 것.
• 작은 레이블 데이터셋과 함께 큰 비라벨 데이터셋을 통합하여 추정 효율성과 강건성을 향상시키는 것.
• 적절한 성향 스코어 사양 조건 하에서 추정기의 루트-n 일치성과 점근 정규성을 확립하는 것. 이는 오차 함수의 구체적 형태를 요구하지 않는다.
• 모수적 형태가 아닌 고차원 비모수 오차 추정기(예: 알려지지 않은 공변량 변환을 포함한 커널 스무딩)에 대해 새로운 균일 수렴 속도를 유도하는 것.
• 시뮬레이션과 실세계 데이터 분석을 통해 제안된 방법이 감독 방법에 비해 우월함을 검증하는 것.

제안 방법

• 레이블이 있는 데이터(반응 포함)와 비라벨 데이터(반응 없음)를 조합하여 평균 및 분위수 처리 효과에 대한 더블로버런트 추정기 구축.
• 모수적 형태가 아닌 고차원 설정에서 알려지지 않은 공변량 변환을 수용할 수 있는 확률역수 가중치 기반 커널 스무딩을 활용한 오차 함수 추정.
• 성향 스코어가 적절히 사양된 경우, 심지어 반응 회귀 또는 기타 오차 함수가 일致하지 않게 추정되더라도 추정기의 루트-n 일치성과 점근 정규성을 보장.
• 모든 오차 함수가 적절히 사양된 경우, 큰 비라벨 샘플의 정보를 활용하여 반감도 효율성 달성.
• 두 단계 추정 전략을 사용: 먼저 레이블 데이터로부터 오차 함수 추정, 그 후 비라벨 데이터와 조합하여 추론 향상.
• 최소한의 규칙성 조건 하에서 이론적 보장을 도출하며, 커널 기반 추정기의 고차원 수렴 속도를 포함.

실험 결과

연구 질문

• RQ1 순수 감독 방법에 비해 준감독 프레임워크가 고차원 설정에서 처리 효과 추정의 강건성과 효율성을 향상시킬 수 있는가?
• RQ2 성향 스코어가 적절히 사양된 경우, 준감독 추정기가 루트-n 일치성과 점근 정규성을 확보하는 조건은 무엇인가?
• RQ3 고차원에서 오차 함수(예: 반응 회귀 또는 성향 스코어)를 비모수적으로 추정할 경우 제안된 추정기는 어떻게 행동하는가?
• RQ4 알려지지 않은 공변량 변환을 포함한 고차원 준감독 설정에서 확률역수 가중치 커널 스무딩 추정기의 균일 수렴 속도는 무엇인가?
• RQ5 큰 비라벨 데이터셋을 통합함으로써 처리 효과 추정의 편향과 표준 오차는 어느 정도 감소하는가?

주요 결과

• 적절한 성향 스코어 사양 조건 하에서 제안된 준감독 추정기는 다른 오차 함수가 일치하지 않게 추정되더라도 루트-n 일치성과 점근 정규성을 달성한다.
• 시뮬레이션과 실세계 데이터 분석을 통해 감독 방법 대비 효율성과 강건성이 향상되었음을 확인하였으며, 더 좁은 신뢰구간과 낮은 평균제곱오차를 보였다.
• HIV 약물 내성 데이터 분석에서 준감독 신뢰구간은 항상 감독 방법보다 짧았으며, 파란색으로 강조된 가장 짧은 구간은 정밀도 향상을 시사했다.
• 고차원 오차 추정에서 본 논문은 알려지지 않은 공변량 변환을 포함한 확률역수 가중치 커널 스무딩에 대해 새로운 균일 수렴 속도를 확립하였다.
• 이론적 결과는 모든 오차 함수가 적절히 사양된 경우 추정기가 반감도 효율적임을 보여주며, 비라벨 데이터의 전체 정보를 활용함을 시사한다.
• 수치 결과는 다양한 시뮬레이션 설정에서 조건부 모형 오류가 있는 경우에도 신뢰도가 약 95%로 양호하게 유지됨을 보여주었다.