[논문 리뷰] DeepMatch: Balancing Deep Covariate Representations for Causal Inference Using Adversarial Training

Nathan Kallus|arXiv (Cornell University)|2018. 02. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 22

한 줄 요약

DeepMatch는 이미지와 같은 고차원 데이터를 포함한 관찰 연구에서 인과적 추론을 위한 깊이 있는 공변량 표현의 균형을 맞추기 위해 적대적 훈련 방법을 제안한다. 최소화-최대화 훈련을 통해 가중치 네트워크와 판별기 네트워크를 동시에 최적화함으로써, 전통적인 성향 스코어 및 매칭 방법보다 우수한 공변량 균형과 통계적 일致성을 달성한다.

ABSTRACT

We study optimal covariate balance for causal inferences from observational data when rich covariates and complex relationships necessitate flexible modeling with neural networks. Standard approaches such as propensity weighting and matching/balancing fail in such settings due to miscalibrated propensity nets and inappropriate covariate representations, respectively. We propose a new method based on adversarial training of a weighting and a discriminator network that effectively addresses this methodological gap. This is demonstrated through new theoretical characterizations of the method as well as empirical results using both fully connected architectures to learn complex relationships and convolutional architectures to handle image confounders, showing how this new method can enable strong causal analyses in these challenging settings.

연구 동기 및 목표

• 이미지와 같은 고차원 또는 복잡한 공변량에 적용될 때 표준 인과적 추론 방법(예: 성향 스코어 가중치와 매칭)이 실패하는 문제를 해결하기 위해.
• 딥 뉴럴 네트워크가 성향 스코어를 추정할 때 발생하는 불안정성과 잘못된 校정 문제로 인해 双중적으로 강건한 및 가중치 기반 인과 추정기의 성능이 저하되는 문제를 해결하기 위해.
• 원시 공변량 뿐 아니라 신경망이 학습한 비선형 표현 공간에서도 최적의 공변량 균형을 보장하는 방법을 개발하기 위해.
• 딥 러닝의 표현 능력을 활용하면서도 치료군과 대조군 간의 균형을 유지하는 통계적으로 일관된 유연한 프레임워크를 제공하기 위해.

제안 방법

• 치료군과 대조군 간의 균형을 식별하는 판별기 네트워크와 가중치 네트워크 사이에 최소-최대 게임을 제안한다.
• 판별기가 가중된 치료군과 대조군을 구분하는 능력에 기반한 새로운 판별적 불균형 측도를 도입한다.
• 생성적 적대적 네트워크(GANs)와 유사한 방식으로 교차하는 기울기 업데이트를 사용하는 적대적 훈련을 적용하여, 판별기가 균형을 감지할 수 없도록 하는 가중치를 최적화한다.
• 안정성 확보와 과적합 방지를 위해 판별적 불균형과 릿지 페널티를 조합한 정규화된 목적 함수를 도입한다.
• 약한 규칙성 조건 하에서 이론적으로 통계적 일관성이 입증되었으며, 볼록 최적화 및 경험 과정 이론을 통해 수렴 보장을 도출하였다.
• 완전 연결 및 컨volutional 신경망을 모두 적용하여 복잡한 표현을 학습함으로써, 이미지 기반의 혼란 변수 설정에 적용 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크가 학습한 고차원 비선형 표현에서 최적의 공변량 균형을 달성하기 위해 적대적 훈련을 사용할 수 있는가?
• RQ2 공변량이 복잡하거나 이미지 기반일 경우, 제안된 방법이 표준 성향 스코어 가중치 및 매칭 방법보다 균형과 추정 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 진짜 성향 스코어가 깊이 네트워크에 의해 잘못 측정되거나 校정되지 않았을 경우, 이 방법이 통계적 일관성과 강건성을 유지하는가?
• RQ4 이 방법을 컨volutional 아키텍처로 확장하여 관찰 연구에서 이미지 혼란 변수를 다룰 수 있는가?
• RQ5 이론적으로 이 방법의 일관성 및 수렴 성질은 고차원 설정에서 어떻게 정당화되는가?

주요 결과

• 제안된 DeepMatch 방법은 무편향성 조건 하에서 통계적으로 일관된 인과 추정을 달성하며, 추정기의 수렴 속도는 Op(Rn(F) + 1/√n)이다. 여기서 Rn(F)는 함수 클래스의 라데마처 복잡도이다.
• 실증 결과에 따르면, DeepMatch는 복잡한 비선형 관계가 있는 설정에서 기존 성향 스코어 방법보다 공변량 균형을 크게 향상시킨다.
• 컨volutional 네트워크를 사용해 이미지 혼란 변수에 적용했을 경우, 기존 방법이 표현 학습 능력 부족으로 실패하는 상황에서도 DeepMatch는 효과적인 인과 추론을 가능하게 한다.
• 성향 스코어의 잘못된 측정에 대해 강건함을 보이며, 적대적 훈련 프레임워크가 정확한 확률 추정에 의존하지 않기 때문이다.
• 이론적 분석을 통해 DeepMatch의 최적 가중치는 판별적 불균형 측도를 최소화하며, 이 측도가 표현 공간 내의 불균형을 최소화하는 것과 동치임을 입증하였다.
• 목적 함수는 볼록이며, 강력한 이중성 원리가 성립하므로 적절한 조건(예: 슬레이터 점 존재) 하에 해가 전역적으로 최적임을 보장한다.