[논문 리뷰] On Inductive Biases for Heterogeneous Treatment Effect Estimation

Alicia Curth, Mihaela van der Schaar|arXiv (Cornell University)|2021. 06. 07.

Advanced Causal Inference Techniques참고 문헌 52인용 수 11

한 줄 요약

이 논문은 이종적 치료 효과 추정을 향상시키기 위해 잠재적 결과(Potential Outcomes, POs) 간의 구조적 유사성을 활용하기 위해 종료형 학습 전략 세 가지—정규화, 재구성 및 유연한 다중작업 아키텍처—을 제안한다. POs 간 공통된 행동을 선호하는 인덕티브 편향을 통합함으로써, 모든 방법은 유한 표본에서 추정 오차를 크게 감소시키며, 특히 불균형한 설정에서 표본 효율성이 뛰어난 다중작업 접근 방식이 두각을 나타낸다.

ABSTRACT

We investigate how to exploit structural similarities of an individual's potential outcomes (POs) under different treatments to obtain better estimates of conditional average treatment effects in finite samples. Especially when it is unknown whether a treatment has an effect at all, it is natural to hypothesize that the POs are similar - yet, some existing strategies for treatment effect estimation employ regularization schemes that implicitly encourage heterogeneity even when it does not exist and fail to fully make use of shared structure. In this paper, we investigate and compare three end-to-end learning strategies to overcome this problem - based on regularization, reparametrization and a flexible multi-task architecture - each encoding inductive bias favoring shared behavior across POs. To build understanding of their relative strengths, we implement all strategies using neural networks and conduct a wide range of semi-synthetic experiments. We observe that all three approaches can lead to substantial improvements upon numerous baselines and gain insight into performance differences across various experimental settings.

연구 동기 및 목표

• 조건부 평균 치료 효과(CATE) 추정에서 잠재적 결과(POs) 간의 구조적 유사성을 활용하는 데 아직 다루지 않은 과제를 해결하기 위해.
• 치료 효과가 작거나 알려져 있지 않을 때, 종료형 학습 전략이 POs 내 공통된 구조를 더 잘 활용할 수 있는 방법을 탐구하기 위해.
• CATE 및 PO 추정 정확도 향상에 있어 정규화, 재구성 및 다중작업 학습 접근 방식을 비교하기 위해.
• 실제적이고 반-합성적인 실험 설정에서 다양한 인덕티브 편향 전략의 상대적 장점과 한계에 대한 체계적인 통찰을 제공하기 위해.
• 혼잡 보정을 초월해 공통된 구조를 통합함으로써 기존 CATE 추정기의 개선을 이끌어내기 위해.

제안 방법

• 신경망을 사용하여 세 가지 다른 전략을 구현: (1) PO 함수 간 유사성을 유도하기 위한 소프트 정규화, (2) 공통 표현을 통해 공통된 구조를 명시적으로 모델링하는 하드 재구성, (3) 공통 인덕티브 편향을 가진 동시에 POs를 공동으로 학습하는 다소의 다중작업 아키텍처.
• 치료 및 대조 결과 간에 공통된 특징 공간을 사용하며, 재구성 접근 방식은 POs가 유사하다는 가정을 명시적으로 코딩한다.
• 두 PO 함수의 잠재 표현 간 유사성을 유도하기 위해 정규화 펜alties(예: 가중치 공유 또는 가중치 제약)를 적용한다.
• 공유 레이어가 구조적 일치를 촉진하는 다중작업 학습 프레임워크를 설계한다.
• RMSE 및 AUC를 지표로 사용하여, 치료 불균형과 표본 크기가 다양한 반-합성 데이터셋을 사용해 모든 방법을 평가한다.
• TNet 및 TARNet와 같은 강력한 베이스라인과 다수의 실험 설정(예: Twins 데이터셋 포함)에서 성능을 비교한다.

실험 결과

연구 질문

• RQ1 정규화, 재구성 및 다중작업 학습과 같은 다양한 인덕티브 편향이 유한 표본에서 CATE 추정에 어떤 영향을 미치는가?
• RQ2 잠재적 결과 간의 공통된 구조를 활용할 때, 기존 CATE 추정기보다 유의미한 향상이 이루어지는 설정은 어떤 경우인가?
• RQ3 치료 불균형은 공통된 PO 구조를 활용하는 방법의 성능에 어떤 영향을 미치는가?
• RQ4 소프트 정규화, 하드 재구성 또는 다소의 다중작업 중에서 어느 접근 방식이 제한된 학습 데이터를 가장 효율적으로 활용하는가?
• RQ5 진짜 치료 효과가 작을 때조차도 POs 간의 공통된 구조가 CATE 및 개별 PO 추정에 더 나은 성능을 이끌어낼 수 있는가?

주요 결과

• 제안된 세 가지 방법 모두 TNet, TARNet와 같은 표준 베이스라인보다 CATE 추정에서 유의미하게 뛰어난 성능을 보이며, 특히 치료 불균형과 낮은 표본 크기에서 두각을 나타낸다.
• 다양한 다중작업 아키텍처인 FlexTENet는 가장 높은 표본 효율성을 달성하여, 전체 학습 데이터의 일부만으로도 거의 최적의 성능에 도달한다.
• 재구성 접근 방식은 특히 부족한 치료 군에서 POs를 추정하는 데 강력한 성능을 보이며, 효과적인 교차 감독 덕분이다.
• 정규화 기반 방법은 치료 배정이 불균형할 경우 분산을 줄여 추정 정확도를 향상시킨다.
• 모든 방법이 PO에 대한 AUC를 향상시켰으며, 특히 데이터가 적은 환경과 치료 불균형이 심한 경우에 가장 두드러진 개선이 이루어졌다.
• 결과는 POs 간 공통된 구조를 명시적으로 모델링할 경우, 혼잡 보정 전략과 무관하게 더 견고하고 정확한 CATE 및 PO 추정이 가능하다는 점을 입증한다.