[논문 리뷰] Neural Score Matching for High-Dimensional Causal Inference

Oscar Clivio, Fabian Falck외 3명|arXiv (Cornell University)|2022. 03. 01.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 고차원적 인과 추론을 위한 새로운 방법인 신경 스코어 매칭을 제안한다. 이 방법은 신경망을 사용해 저차원의 균형 스코어를 학습함으로써 고차원 공변량 공간에서 효과적인 매칭을 가능하게 한다. 이 접근법은 불균형을 감소시키고 치료 효과 추정을 향상시켜, ACIC2016, News, IHDP 데이터셋을 포함한 반-합성 기준에서 기존 방법들을 능가한다.

ABSTRACT

Traditional methods for matching in causal inference are impractical for high-dimensional datasets. They suffer from the curse of dimensionality: exact matching and coarsened exact matching find exponentially fewer matches as the input dimension grows, and propensity score matching may match highly unrelated units together. To overcome this problem, we develop theoretical results which motivate the use of neural networks to obtain non-trivial, multivariate balancing scores of a chosen level of coarseness, in contrast to the classical, scalar propensity score. We leverage these balancing scores to perform matching for high-dimensional causal inference and call this procedure neural score matching. We show that our method is competitive against other matching approaches on semi-synthetic high-dimensional datasets, both in terms of treatment effect estimation and reducing imbalance.

연구 동기 및 목표

• 기존 매칭 방법이 고차원 문제에 직면할 때 겪는 차원의 극복 문제를 해결하기 위해.
• 신경망을 사용해 다변량 균형 스코어를 이론적으로 타당하게 학습하는 방법을 개발하기 위해.
• 결과 회귀에 의존하지 않고도 고차원 설정에서 효과적인 매칭을 가능하게 하기 위해.
• 복잡한 고차원 공변량을 가진 관찰 연구에서 치료 효과 추정과 공변량 균형을 향상시키기 위해.
• 고차원 데이터에서 의사결정 스코어 매칭과 정확한 매칭의 스케일러블하고 비모수적 대안을 제공하기 위해.

제안 방법

• 이 방법은 고차원 공변량에서 속도 스코어 모델의 중간 층을 활용해 저차원 균형 스코어를 신경망을 통해 학습한다.
• 원래의 공변량 공간이 아닌 학습된 균형 스코어 공간에서 거리 척도를 사용해 매칭을 수행한다.
• 원래 공변량 공간의 불균형과 저차원 스코어 공간의 불균형 간 관계를 수립하기 위한 이론적 경계를 도출한다.
• 균형 조건에서의 벗어남을 분석함으로써 이 방법을 비균형 스코어로 확장한다.
• 불균형을 최소화하면서도 치료 효과 추정 정확도를 유지하기 위해 엔드 투 엔드로 학습한다.
• 결과 회귀를 피하기 위해 학습된 표현을 통해 공변량 균형에 집중함으로써 결과 회귀를 회피한다.

실험 결과

연구 질문

• RQ1 신경망은 고차원 설정에서 공변량 균형을 유지하는 저차원 균형 스코어를 학습할 수 있는가?
• RQ2 원래 공변량 공간의 불균형은 학습된 스코어 공간의 불균형과 어떻게 관련이 있는가?
• RQ3 신경 스코어 매칭은 치료 효과 추정 및 균형 지표 측면에서 기존 매칭 방법을 능가할 수 있는가?
• RQ4 공변량 수가 표본 수를 초과하거나 공변량이 고차원일 경우에도 이 방법은 강건한가?
• RQ5 전체 모델 출력 대비 균형 스코어를 위한 네트워크 레이어 선택이 성능에 미치는 영향은 어떠한가?

주요 결과

• 신경 스코어 매칭은 ACIC2016 데이터셋에서 가장 낮은 校정 오차를 기록했으며, 내측 오차는 0.156 ± 0.005, 외측 오차는 0.311 ± 0.011였다.
• IHDP 데이터셋에서 이 방법은 내측 오차 0.156 ± 0.005, 외측 오차 0.311 ± 0.011를 기록했으며, LogReg PS 및 PCA 기반 방법보다 뛰어났다.
• 무작위 매칭 및 기준 방법 대비 표본 불균형을 크게 감소시켰으며, ACIC2016에서 외측 불균형은 0.442 ± 0.009였다.
• 신경 스코어 매칭은 News 데이터셋에서도 경쟁력 있는 성능을 보였으며, PCA 및 무작위 매칭보다 낮은 ATT 오차와 불균형을 기록했다.
• 이론적 결과는 원래 공간의 불균형이 스코어 공간의 불균형으로 제한됨을 보여주며, 매칭에서 차원 감소를 위한 신경망의 사용을 정당화한다.
• 다양한 기준에서의 강건성을 입증했으며, 고차원 공변량에도 불구하고 균형 및 추정 정확도 향상이 일관되게 관찰되었다.