[논문 리뷰] Learning Representations for Counterfactual Inference

Fredrik Johansson, Uri Shalit외 1명|arXiv (Cornell University)|2016. 05. 12.

Machine Learning and Algorithms참고 문헌 30인용 수 191

한 줄 요약

본 논문은 반사실 추론을 도메인 적응 및 표현 학습과 연결하고, 관찰 연구에서 반사실 예측을 향상시키기 위해 균형 잡힌 표현을 제안하며, 깊은 학습 변형들이 기존 방법을 능가함을 보인다.

ABSTRACT

Observational studies are rising in importance due to the widespread accumulation of data in fields such as healthcare, education, employment and ecology. We consider the task of answering counterfactual questions such as, "Would this patient have lower blood sugar had she received a different medication?". We propose a new algorithmic framework for counterfactual inference which brings together ideas from domain adaptation and representation learning. In addition to a theoretical justification, we perform an empirical comparison with previous approaches to causal inference from observational data. Our deep learning algorithm significantly outperforms the previous state-of-the-art.

연구 동기 및 목표

• 관찰 연구에서의 반사실 추론의 필요성과 이를 표준 지도학습과 구별하는 점을 동기화한다.
• 반사실 예측을 공변량 변화/도메인 적응 문제로 공식화한다.
• 일반화 오류를 줄이기 위해 처리군과 대조군 인구를 균형 있게 만드는 표현 학습 방법을 도입한다.
• 반사실 작업을 위한 균형 표현을 학습하기 위한 선형 및 딥러닝 접근법을 제시한다.
• 기존 인과 추론 방법과의 이론적 정당성과 실험적 평가를 제공한다.]
• method:[
• 표현 Phi: X -> R^d와 예측기 h: R^d x T -> R를 학습하여 예측 오차, 반사실 규제, 분포 불균형을 함께 최소화한다.
• 사실 분포와 반사실 분포 간의 불일치(discrepancy) 거리를 사용하여 처리군과 대조군 간의 균형을 촉진한다.
• 선형 설정에서 닫힌 형식의 discrepancy를 도출하고 Phi(x)=Wx가 되도록 희소 가중치 W를 통한 균형 변수 선택을 제안한다.
• 네트워크 아키텍처 및 학습 목표에 discrepancy 항을 내재화하여 깊은 신경망으로 확장한다.
• 불균형 페널티와 함께 Phi와 h를 먼저 최적화한 뒤, 사실 데이터에 대해 최종 릿지 회귀를 적합하는 2단계 최적화를 제공한다.
• 선형 discrepancy를 특징 공간에서 평균 매칭으로 논의하고 공변량 균형과의 관련성을 설명한다.]
• research_questions:[
• 공변량 이동하에서 반사실 추론을 도메인 적응 문제로 어떻게 프레이밍할 수 있는가?
• 처리군과 대조군 간의 불일치를 최소화하는 균형 표현이 반사실 예측을 개선하는가?
• 예측 정확도를 유지하면서 선형 및 딥러닝 표현을 학습하여 인구를 균형 있게 만들 수 있는 방법은?
• 표현 균형화와 반사실 일반화 오차를 연결하는 이론적 보장은 무엇인가?]
• key_findings:[
• 균형 표현은 처리군과 대조군 간의 분포 차이를 줄여 반사실 일반화 오차를 감소시킨다.
• 예측 정확도와 불균형 사이의 트레이드오프를 고려한 표현 학습은 샘플 재가중만 의존하는 방법보다 더 나은 반사실 예측을 만든다.
• 선형(Balancing Linear Regression)과 신경망(Balancing Neural Network) 변형 모두 실험에서 기존의 인과 추론 방법보다 우수하다.
• 이론적 결과는 discrepancy 항과 최근접 이웃 회귀 스타일의 경계(bound)를 사용하여 상대적 반사실 일반화 오차를 제한한다.
• IHDP 및 News 데이터 세트에 대한 경험적 평가에서 사실 분포에 과적합 없이 ITE 및 ATE 추정이 향상됨을 보여준다.

제안 방법

• 표현 Phi: X -> R^d와 예측기 h: R^d x T -> R를 학습하여 예측 오차, 반사실 규제, 분포 불균형을 함께 최소화한다.
• 사실 분포와 반사실 분포 간의 불일치(discrepancy) 거리를 사용하여 처리군과 대조군 간의 균형을 촉진한다.
• 선형 설정에서 닫힌 형식의 discrepancy를 도출하고 Phi(x)=Wx가 되도록 희소 가중치 W를 통한 균형 변수 선택을 제안한다.
• 네트워크 아키텍처 및 학습 목표에 discrepancy 항을 내재화하여 깊은 신경망으로 확장한다.
• 불균형 페널티와 함께 Phi와 h를 먼저 최적화한 뒤, 사실 데이터에 대해 최종 릿지 회귀를 적합하는 2단계 최적화를 제공한다.
• 선형 discrepancy를 특징 공간에서 평균 매칭으로 논의하고 공변량 균형과의 관련성을 설명한다.]
• research_questions:
• table_headers:
• table_rows:

실험 결과

연구 질문

• RQ1 공변량 이동하에서 반사실 추론을 도메인 적응 문제로 어떻게 프레이밍할 수 있는가?
• RQ2 처리군과 대조군 간의 불일치를 최소화하는 균형 표현이 반사실 예측을 개선하는가?
• RQ3 예측 정확도를 유지하면서 선형 및 딥러닝 표현을 학습하여 인구를 균형 있게 만들 수 있는 방법은?
• RQ4 표현 균형화와 반사실 일반화 오차를 연결하는 이론적 보장은 무엇인가?]
• RQ5 table_headers:[]
• RQ6 table_rows:[]
• RQ7 title

주요 결과

• 균형 표현은 처리군과 대조군 간의 분포 차이를 줄여 반사실 일반화 오차를 감소시킨다.
• 예측 정확도와 불균형 사이의 트레이드오프를 고려한 표현 학습은 샘플 재가중만 의존하는 방법보다 더 나은 반사실 예측을 만든다.
• 선형(Balancing Linear Regression)과 신경망(Balancing Neural Network) 변형 모두 실험에서 기존의 인과 추론 방법보다 우수하다.
• 이론적 결과는 discrepancy 항과 최근접 이웃 회귀 스타일의 경계(bound)를 사용하여 상대적 반사실 일반화 오차를 제한한다.
• IHDP 및 News 데이터 세트에 대한 경험적 평가에서 사실 분포에 과적합 없이 ITE 및 ATE 추정이 향상됨을 보여준다.