[논문 리뷰] Covariate Balancing Propensity Score by Tailored Loss Functions

Qingyuan Zhao|arXiv (Cornell University)|2016. 01. 22.

Advanced Causal Inference Techniques참고 문헌 58인용 수 18

한 줄 요약

이 논문은 표준 베르누이 로그우도 대신 목표 추정량(예: ATE 또는 ATUT)을 고려해 설계된 손실 함수를 사용하는 새로운 프레임워크—공변수 균형 스코링 규칙(CBSR)—를 소개한다. 이는 우도가 아닌 공변수 균형을 직접 최적화하는 방식이다. 표준 베르누이 로그우도를 대체하여 목표 추정량에 맞게 특화된 손실 함수를 사용함으로써 CBSR는 유한 표본에서의 균형과 강건성을 향상시키며, 선택된 공변수에 대해 정확한 균형을 확보하고, 역확률가중치 추정량의 편향을 감소시킨다.

ABSTRACT

In observational studies, propensity scores are commonly estimated by maxi- mum likelihood but may fail to balance high-dimensional pre-treatment covariates even after specification search. We introduce a general framework that unifies and generalizes several recent proposals to improve covariate balance when designing an observational study. In- stead of the likelihood function, we propose to optimize special loss functions---covariate balancing scoring rules (CBSR)---to estimate the propensity score. A CBSR is uniquely determined by the link function in the GLM and the estimand (a weighted average treatment effect). We show CBSR does not lose asymptotic efficiency to the Bernoulli likelihood in estimating the weighted average treatment effect compared, but CBSR is much more robust in finite sample. Borrowing tools developed in statistical learning, we propose practical strategies to balance covariate functions in rich function classes. This is useful to estimate the maximum bias of the inverse probability weighting (IPW) estimators and construct honest confidence interval in finite sample. Lastly, we provide several numerical examples to demonstrate the trade-off of bias and variance in the IPW-type estimators and the trade-off in balancing different function classes of the covariates.

연구 동기 및 목표

• 기존의 공변수 추정 방법을 사용할 때 고차원 관찰 연구에서 지속적인 공변수 균형 문제를 해결한다.
• 고차원 또는 비선형으로 변환된 공변수의 균형을 이루는 데 있어 최대우도추정의 한계를 극복한다.
• 손실 함수를 인과추정량과 직접적으로 연결함으로써 최근의 공변수 균형 방법들을 통합하는 프레임워크를 개발한다.
• 역확률가중치(IPW) 추정량의 유한 표본 성능을 향상시켜 편향을 감소시키고, 정직한 신뢰구간을 구성한다.
• 극단적인 공변수 확률과 큰 역확률가중치를 방지하는 체계적인 접근을 제공한다. 이는 분산과 편향을 증가시킬 수 있다.

제안 방법

• 일반적인 손실 함수의 클래스—공변수 균형 스코링 규칙(CBSR)—을 정의한다. 이는 GLM의 링크 함수와 목표 추정량(예: ATE, ATUT)에 의해 유일하게 결정된다.
• 표준 베르누이 로그우도를 대체하여, 특히 극단적인 공변수 확률에 대해 공변수 균형이 떨어지는 것을 방지하는 특화된 손실 함수를 사용한다.
• 볼록 최적화를 사용하여 특화된 손실을 최소화함으로써, 선택된 모델에서 활성 공변수에 대해 정확한 균형을 확보한다.
• 정규화 및 커널 방법과 같은 통계학적 학습 도구를 활용하여, 비선형 변환 등 rich한 함수 클래스의 공변수 함수를 균형 잡는다.
• 제안된 손실 기반 공변수 확률 추정을 통해 IPW 추정량의 최대 편향을 추정함으로써, 정직한 신뢰구간을 구성한다.
• 베타 가족의 적절한 스코링 규칙(예: ATE에 해당하는 S_{-1,-1})을 활용하여 극단적인 공변수 확률을 자연스럽게 처벌함으로써, 큰 역확률가중치를 피한다.

실험 결과

연구 질문

• RQ1 목표 추정량에 맞게 특화된 손실 함수는 기존의 우도 기반 방법에 비해 고차원 관찰 연구에서 공변수 균형을 향상시키는가?
• RQ2 제안된 CBSR 프레임워크는 최대우도에 비해 渐近 효율성과 유한 표본에서의 편향 및 분산 간의 트레이드오프 측면에서 어떻게 비교되는가?
• RQ3 특화된 손실 함수는 극단적인 공변수 확률을 얼마나 효과적으로 방지하고, 역확률가중치의 크기를 얼마나 줄일 수 있는가?
• RQ4 이 프레임워크는 복잡한 공변수 함수 클래스(예: 비선형 변환)를 균형 잡는 데 일반화될 수 있는가? 이때도 여전히 유한 표본에서의 강건성을 유지하는가?
• RQ5 제안된 손실 기반 공변수 확률 추정을 통해 IPW 추정량의 정직한 신뢰구간을 어떻게 구성할 수 있는가?

주요 결과

• 특화된 손실 함수 접근법은 모델 내 모든 활성 공변수에 대해 정확한 균형을 달성한다. 이는 8개의 예측변수 모두가 단 3단계 만에 균형을 이룬 토이 예제에서 입증되었다.
• Kang과 Schafer(2007)의 시뮬레이션에서, 표준 베르누이 우도는 모든 공변수의 표준화된 차이를 10% 이하로 줄이지 못했지만, 특화된 손실 함수는 3단계 내에 완전한 균형을 달성했다.
• CBSR 방법은 최대우도와 유사한 渐近 효율성을 유지하면서도, 훨씬 뛰어난 유한 표본 성능과 강건성을 보였다.
• 베타 가족의 스코링 규칙 S_{-1,-1}(ATE에 해당)는 극단적인 공변수 확률을 자연스럽게 처벌한다. 이는 p=0과 p=1 근처에서 손실이 유계가 아니므로, 큰 역확률가중치를 방지한다.
• ATUT 추정에 있어서 스코링 규칙 S_{-1,0}은 오직 p=0 근처에서만 무한대가 되므로, T_i=1일 때 작은 공변수 확률을 피하는 데 필요한 행동과 일치한다.
• 이 프레임워크는 손실 기반 공변수 확률 모델을 통해 IPW 추정량의 최대 편향을 추정함으로써, 정직한 신뢰구간의 구성이 가능해진다.