[논문 리뷰] Counterfactual Representation Learning with Balancing Weights

Serge Assaad, Shuxi Zeng외 6명|arXiv (Cornell University)|2020. 10. 23.

Advanced Causal Inference Techniques참고 문헌 52인용 수 4

한 줄 요약

이 논문은 인과 추론에서 특징 균형과 예측 능력 사이의 상충 관계를 완화하기 위해 균형 가중치와 표현 학습을 통합한 Balancing Weights Counterfactual Regression (BWCFR)를 제안한다. 데이터를 양호한 오버랩 영역을 향해 재가중하고, 재가중된 특징에서 표현을 학습함으로써 BWCFR는 조건부 평균 치료 효과(CATE) 추정을 향상시켜 합성 데이터, IHDP1000, ACIC2016 벤치마크에서 최신 기준을 초월한다.

ABSTRACT

A key to causal inference with observational data is achieving balance in predictive features associated with each treatment type. Recent literature has explored representation learning to achieve this goal. In this work, we discuss the pitfalls of these strategies - such as a steep trade-off between achieving balance and predictive power - and present a remedy via the integration of balancing weights in causal learning. Specifically, we theoretically link balance to the quality of propensity estimation, emphasize the importance of identifying a proper target population, and elaborate on the complementary roles of feature balancing and weight adjustments. Using these concepts, we then develop an algorithm for flexible, scalable and accurate estimation of causal effects. Finally, we show how the learned weighted representations may serve to facilitate alternative causal learning procedures with appealing statistical features. We conduct an extensive set of experiments on both synthetic examples and standard benchmarks, and report encouraging results relative to state-of-the-art baselines.

연구 동기 및 목표

• 인과 추론을 위한 표현 학습에서 공변량 균형 달성과 예측 능력 유지 사이의 상충 관계를 해결하기 위해.
• 치료 배정에서 양호한 오버랩 영역을 중심으로 가중치를 적용함으로써 균형과 추정 정확도를 향상시킬 수 있음을 보여주기 위해.
• 가중치 표현을 사용하여 조건부 평균 치료 효과(CATE)를 추정하는 가용성 있고 유연한 방법을 개발하기 위해.
• 학습된 가중치와 표현이 인과 숲과 같은 후행 인과 학습 절차를 향상시키는 데 기여하는지 확인하기 위해.
• 편향을 적당한 성능 평가 품질에 따라 함수로 이론적으로 경계하기 위해.

제안 방법

• 치료 배정에서 양호한 오버랩 영역을 강조하기 위해 훈련 데이터를 재가중함으로써 균형 가중치를 표현 학습에 통합한다.
• 신경망을 사용해 재가중된 특징에서 표현을 학습함으로써 원시 특징에 직접 균형을 강제하지 않아 결과 예측 정보를 유지한다.
• 결과 회귀와 투약 확률 모델을 조합한 더블로버스트 추정기를 사용하여 ATE를 추정함으로써 내성적 안정성을 향상시킨다.
• 오버랩 가중치(OW), 최소최대 가중치(MW), 잘라내기 역확률 가중치(TruncIPW)의 세 가지 가중치 설계를 제안하며, 각각 오버랩과 안정성의 다른 측면을 타깃으로 한다.
• 재가중된 결과의 예측 오차를 최소화하면서도 재가중된 특징 공간에서의 균형을 촉진하는 손실 함수를 사용해 모델을 훈련한다.
• 학습된 표현과 가중치를 인과 숲과 같은 다른 인과 추정기의 입력으로 사용하여 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 표현 학습에 균형 가중치를 통합함으로써 CATE 추정에서 균형과 예측 능력 사이의 상충 관계를 줄일 수 있는가?
• RQ2 특정 인구집단을 가중치로 타깃으로 삼는 것이 후행 인과 추론의 품질에 어떤 영향을 미치는가?
• RQ3 학습된 가중치와 표현이 인과 숲과 같은 다른 인과 학습 절차에서 성능 향상에 얼마나 기여하는가?
• RQ4 편향과 투약 확률 모델의 정확도 사이의 이론적 관계는 어떠한가?
• RQ5 다양한 데이터셋에서 오버랩 가중치(OW), 최소최대 가중치(MW), 잘라내기 역확률 가중치(TruncIPW)의 세 가지 가중치 설계 방식이 안정성과 추정 정확도 측면에서 어떻게 비교되는가?

주요 결과

• IHDP1000 벤치마크에서 BWCFR는 TruncIPW 가중치를 사용해 PEHE 0.65 ± 0.05와 ATE 오차 0.16 ± 0.02로 최신 기준 성능을 달성했다.
• ACIC2016 경쟁 데이터셋에서 BWCFR 표현과 가중치를 활용한 보강된 인과 숲은 77개 데이터셋 중 75개에서 일반 인과 숲과 단독 신경망을 모두 능가했다.
• 인과 숲과 BWCFR 표현 및 가중치를 조합한 하이브리드 모델은 중앙값 PEHE 0.66 ± 0.06과 ATE 오차 0.16 ± 0.02를 기록했으며, 단독 딥 모델과 일반 인과 숲보다 뛰어난 성능을 보였다.
• 더블로버스트 추정기는 대부분의 토이 데이터셋에서 ATE 추정 오차가 일관되게 향상되었으며, 일부 경우에서 최대 30% 향상되었다.
• ACIC2016 평가에서 오버랩 가중치(OW)가 가장 우수한 전체 성능을 기록하여, 양호한 오버랩 영역을 타깃으로 삼는 것이 추정 정확도 향상에 기여함을 시사한다.
• 이론적 분석을 통해 투약 확률 모델이 향상될수록 편향이 감소함을 확인하였으며, 이는 표현 학습에서 가중치 적용의 공식적 정당성을 제공한다.