[논문 리뷰] Generalization Bounds and Representation Learning for Estimation of Potential Outcomes and Causal Effects

Fredrik Johansson, Uri Shalit외 2명|arXiv (Cornell University)|2020. 01. 21.

Machine Learning in Healthcare참고 문헌 78인용 수 32

한 줄 요약

이 논문은 관찰 데이터로부터 잠재적 결과 및 CATE를 추정하는 일반화 경계를 도출하고, 분포 거리(distributional distances), 표현 학습, 및 샘플 재가중(sample re-weighting)을 활용하여 이론적 보장과 실험을 제시한다.

ABSTRACT

Practitioners in diverse fields such as healthcare, economics and education are eager to apply machine learning to improve decision making. The cost and impracticality of performing experiments and a recent monumental increase in electronic record keeping has brought attention to the problem of evaluating decisions based on non-experimental observational data. This is the setting of this work. In particular, we study estimation of individual-level causal effects, such as a single patient's response to alternative medication, from recorded contexts, decisions and outcomes. We give generalization bounds on the error in estimated effects based on distance measures between groups receiving different treatments, allowing for sample re-weighting. We provide conditions under which our bound is tight and show how it relates to results for unsupervised domain adaptation. Led by our theoretical results, we devise representation learning algorithms that minimize our bound, by regularizing the representation's induced treatment group distance, and encourage sharing of information between treatment groups. We extend these algorithms to simultaneously learn a weighted representation to further reduce treatment group distances. Finally, an experimental evaluation on real and synthetic data shows the value of our proposed representation architecture and regularization scheme.

연구 동기 및 목표

• 관찰 데이터 하에서 위험 최소화 관점으로 개인 수준의 잠재적 결과와 인과 효과를 추정하는 것을 연구한다.
• 처리/대조 그룹 간의 분포 거리 기반으로 일반화 경계를 제시한다.
• 바운드를 최소화하고 그룹 간 정보 공유를 개선하기 위해 표현 학습 및 가중화 알고리즘을 개발한다.
• 실증 샘플에 대한 유한 샘플 보장과 실제 데이터에 대한 성능을 입증한다.

제안 방법

• 네이먼-루빈(Neyman-Rubin) 프레임워크에서 잠재적 결과와 CATE를 정의하고 가정(ignorability, overlap, SUTVA)을 식별한다.
• 처리 그룹 간의 분포 거리(distributional distances)를 이용해 잠재적 결과와 CATE의 주변 위험에 대한 위험 기반 경계를 도출한다.
• 처리/대조 분포를 정렬하기 위한 샘플 재가중을 도입하고 이를 경향점수(weighting)와 유사한 가중화와 관련지운다.
• 표현 공간의 가중 위험에 대한 규제 항을 포함하여 가중된 경험적 위험을 최적화하는 학습 알고리즘을 제안한다.
• 학습된(가역적인) 표현이 처리 그룹 간의 거리를 줄이면서도 치료 간 정보 공유를 가능하게 하여 경계를 확장하도록 확장된 경계를 제시한다.
• 제안된 추정기가 일관성과 유한 표본 보장을 갖는 조건을 제공한다.

실험 결과

연구 질문

• RQ1 관찰 데이터에서 잠재적 결과와 CATE를 추정할 때 일반화 오차를 어떻게 경계 지을 수 있는가?
• RQ2 처리 그룹 간의 분포 거리가 인과 추정기의 편향과 분산에 어떤 영향을 미치며, 재가중이 이를 어떻게 도울 수 있는가?
• RQ3 표현 학습이 처리 그룹 간 거리를 줄이고 식별 가능성 가정을 보존하면서 유한 표본 성능을 개선할 수 있는가?
• RQ4 부분적으로 겹치는 설정에서 학습된 표현이 인과 효과의 일관된 추정기를 제공하는 조건은 무엇인가?

주요 결과

• 일반화 경계는 잠재적 결과 예측기의 주변 위험과 처치/대조 분포 간의 거리 사이의 연결고리를 제시한다.
• 샘플 재가중은 교란으로 인한 편향을 완화하고 분산을 제어하며, 가중치의 균일성과 밀도 비(density ratio) 크기 간의 trade-off를 제시한다.
• 가역적인 표현을 학습하면 그룹 간 거리를 줄여 처리 그룹이 겹칠 때 일반화를 개선할 수 있다.
• 표현 학습과 재가중 위험을 결합한 알고리즘은 합성 데이터와 실제 데이터 모두에서 유한 표본 성능을 향상시킨다.
• 부분적 중첩하에서도 경계가 정보유용성을 유지하며, 적절한 가정 하에서 일관성을 확보할 수 있다.