[논문 리뷰] Invariant Representation Learning for Treatment Effect Estimation

Claudia Shi, Victor Veitch외 1명|arXiv (Cornell University)|2020. 11. 24.

Advanced Causal Inference Techniques참고 문헌 39인용 수 11

한 줄 요약

이 논문은 다중 환경 관측 데이터에서 교란 변수를 유지하면서 악성 조절 변수를 배제하는 공변량 표현을 학습함으로써 강건한 인과적 효과 추정을 가능하게 하는 Nearly Invariant Causal Estimation (NICE)을 제안한다. NICE는 Invariant Risk Minimization (IRM)을 사용하여 콜리더 변수에서 기인하는 편향을 감소시키고 분산을 낮추며, 교란 변수와 악성 조절 변수가 존재하는 상황에서 전체 공변량 조정보다 우수한 성능을 보인다.

ABSTRACT

The defining challenge for causal inference from observational data is the presence of `confounders', covariates that affect both treatment assignment and the outcome. To address this challenge, practitioners collect and adjust for the covariates, hoping that they adequately correct for confounding. However, including every observed covariate in the adjustment runs the risk of including `bad controls', variables that induce bias when they are conditioned on. The problem is that we do not always know which variables in the covariate set are safe to adjust for and which are not. To address this problem, we develop Nearly Invariant Causal Estimation (NICE). NICE uses invariant risk minimization (IRM) [Arj19] to learn a representation of the covariates that, under some assumptions, strips out bad controls but preserves sufficient information to adjust for confounding. Adjusting for the learned representation, rather than the covariates themselves, avoids the induced bias and provides valid causal inferences. We evaluate NICE on both synthetic and semi-synthetic data. When the covariates contain unknown collider variables and other bad controls, NICE performs better than adjusting for all the covariates.

연구 동기 및 목표

• 고차원 공변량 중에서 교란 변수와 악성 조절 변수를 사전에 알 수 없는 상황에서 관찰적 인과 추론에서 유효한 조정 집합을 선택하는 데 도전하는 것.
• 다양한 환경을 활용하여 도메인 간에 일관되며 인과 조정에 충분한 공변량 표현을 학습하는 방법을 개발하는 것.
• 콜리더와 같은 악성 조절 변수에 조정을 가하는 것으로 인한 편향을 줄이면서 교란 변수 조정에 필요한 정보를 유지하는 것.
• 예측 가능성은 있으나 교란 변수가 아닌 공변량에 대해 과도하게 조정함으로써 발생하는 오버lap 근접 위반을 피함으로써 추정 안정성과 분산을 감소시키는 것.
• 이론적으로 탄탄하고 실험적으로 효과적인 표현 기반 접근법을 제공하는 것.

제안 방법

• NICE는 다중 환경에서 처리 변수 T와 공변량 X의 표현 Φ(T,X)를 학습하기 위해 Invariant Risk Minimization (IRM)을 적용한다. 이 표현은 여러 환경에서 결과 Y와 동일한 관계를 유지한다.
• 이 방법은 불변 표현이 결과의 인과적 부모들만 포함하며, 최소이자 유효한 조정 집합을 형성한다고 가정한다.
• 원시 공변량 대신 불변 표현을 조정함으로써 NICE는 콜리더나 중재 변수와 같은 악성 조절 변수에 조정을 가하는 것으로 인한 편향을 피한다.
• 표현은 Y의 조건부 분포가 Φ(T,X)에 대해 불변하도록 보장하면서도 환경 간 위험를 최소화하는 손실 함수를 사용하여 훈련된다.
• 표현 학습의 평가는 합성 및 반합성 데이터셋에서 이루어지며, 제어된 교란 변수와 악성 조절 변수를 포함하고 있으며, 분산 추정을 위해 부트스트랩 샘플링을 사용한다.
• 환경 다양성은 원천 환경의 데이터 분포를 혼합하여 조작되어, 정확도와 표현 품질에 대한 강건성 평가가 이루어진다.

실험 결과

연구 질문

• RQ1 악성 조절 변수나 교란 변수를 사전에 알지 못하는 상황에서 불변 표현 학습을 통해 최소이자 유효한 조정 집합을 식별할 수 있는가?
• RQ2 환경의 다양성이 NICE가 악성 조절 변수를 배제하는 표현을 학습하는 데 영향을 미치는가?
• RQ3 콜리더와 같은 악성 조절 변수가 존재할 때, 전체 공변량 조정 대비 NICE가 추정 편향을 줄이는가?
• RQ4 전체 공변량 조정이 오버lap 근접 위반을 일으킬 경우에도 NICE는 낮은 분산과 추정 정확도를 유지할 수 있는가?
• RQ5 불변 표현이 결과의 진짜 인과적 부모와 정량적으로 동일한 정보를 갖는 조건은 무엇인가?

주요 결과

• 악성 조절 변수가 없는 설정에서는 NICE가 전체 공변량 조정과 유사한 추정 성능을 보이며, 정확도에 유의미한 손실이 없다.
• 악성 조절 변수(예: 콜리더)가 조정 집합에 포함된 경우, NICE는 SATT 추정의 평균 절대 오차(MAE)를 전체 공변량 조정 대비 최대 60% 감소시킨다.
• 고콜리더 노이즈 설정(ε=1)에서는 MAE를 0.42±0.05에서 0.16±0.05로 감소시켜 강력한 편향 완화 효과를 입증한다.
• 환경 다양성이 증가할수록 NICE의 성능이 향상되며, 학습된 표현이 점점 유효한 조정 집합과 유사해진다.
• 환경이 충분히 다양할 경우, NICE는 악성 조절 변수를 효과적으로 제거하여 진짜 조정 집합을 사용한 경우와 유사한 추정 편향을 달성한다.
• 예측자가 최적은 아니더라도 NICE는 강건하게 유지되며, 이는 표현 학습 모듈이 편향 감소의 핵심 요소임을 시사한다.