[논문 리뷰] Adversarial Balancing for Causal Inference

Michal Ozery-Flato, Pierre Thodoroff외 3명|arXiv (Cornell University)|2018. 10. 17.

Machine Learning in Healthcare인용 수 5

한 줄 요약

이 논문은 관찰 연구에서 처리군과 대조군 간의 공변량 분포 차이로 인한 편향 문제를 해결하기 위해 생성적 적대적 네트워크(GANs) 원리를 활용한 적대적 균형 프레임워크를 제안한다. 이 방법은 이중 최적화를 통해 균형 가중치를 생성하며, 판별자는 치료군과 대조군을 분류하고, 가중치 생성자는 지수적 경사 하강법을 사용하여 판별자의 오차를 최소화한다. 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하였고, 다양한 분류기와의 조합에서도 안정성이 뛰어나 기존 재가중 기법보다 정확도가 향상된다.

ABSTRACT

Biases in observational data of treatments pose a major challenge to estimating expected treatment outcomes in different populations. An important technique that accounts for these biases is reweighting samples to minimize the discrepancy between treatment groups. We present a novel reweighting approach that uses bi-level optimization to alternately train a discriminator to minimize classification error, and a balancing weights generator that uses exponentiated gradient descent to maximize this error. This approach borrows principles from generative adversarial networks (GANs) to exploit the power of classifiers for measuring two-sample divergence. We provide theoretical results for conditions in which the estimation error is bounded by two factors: (i) the discrepancy measure induced by the discriminator; and (ii) the weights variability. Experimental results on several benchmarks comparing to previous state-of-the-art reweighting methods demonstrate the effectiveness of this approach in estimating causal effects.

연구 동기 및 목표

• 처리군과 대조군 간의 공변량 분포가 다를 경우 발생하는 편향 문제를 해결하여 정확한 인과 효과 추정을 가능하게 한다.
• 적대적 학습 원리를 활용해 처리군 간의 격차를 최소화하는 새로운 재가중 기법을 개발한다.
• 이중 최적화 프레임워크에서 분류기를 차이 측정 도구로 활용하여 안정적이고 분산이 작은 균형 가중치를 생성한다.
• 판별자 성능과 가중치 변동성에 기반한 추정 오차에 대한 이론적 경계를 제공한다.
• 다양한 벤치마크에서의 실험적 검증을 통해 분류기 선택에 대한 강건성을 교차검증을 통해 입증한다.

제안 방법

• 이 프레임워크는 두 명의 플레이어가 참여하는 이중 게임 구조를 취한다: 하나는 개인을 치료군 또는 대조군으로 분류하는 데 전념하는 판별자이고, 다른 하나는 학습 샘플의 가중치를 재조정하여 판별자를 속이는 가중치 생성자이다.
• 가중치 생성자는 지수적 경사 하강법을 사용하여 가중치를 갱신함으로써 가중치가 정규화되고 균일에 가까워지도록 보장하며, 판별자의 분류 오차를 최소화한다.
• 판별자의 손실 함수는 처리군과 대조군 간의 차이 측정 도구로 사용되며, 0-1 손실은 적분 확률 거리(IPM)를 형성한다.
• 이 방법은 이중 최적화로 공식화되며, 먼저 판별자를 훈련한 후, 판별자의 오차를 최대화하도록 가중치를 갱신함으로써 피드백 루프를 형성한다.
• 이 프레임워크는 로지스틱 회귀, 서포트 벡터 머신(SVM), 다층 퍼셉트론(MLP) 등 어떤 분류기라도 통합할 수 있으며, 일반화 성능을 최적화하기 위해 교차검증을 통해 모델을 선택한다.
• 이론적 분석을 통해 추정 오차는 판별자의 분류 오차와 가중치의 변동성에 의해 경계됨을 보여주며, 안정적이고 정규화된 분류기의 사용을 정당화한다.

실험 결과

연구 질문

• RQ1 GAN에서 유래한 적대적 학습 원리를 관찰 연구의 인과 추론을 위한 균형 가중치 생성에 적용할 수 있는가?
• RQ2 분류기의 선택이 적대적 균형 프레임워크의 성능과 강건성에 미치는 영향은 어떠한가?
• RQ3 판별자 성능과 가중치 안정성에 기반한 추정 오차에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 IPW, CBPS, EBAL과 같은 기존 재가중 기법보다 이 방법이 다양한 데이터 분포에서 인과 효과 추정에 뛰어나게 성능을 발휘하는가?
• RQ5 사전 데이터 구조 지식 없이도 교차검증을 통해 최적의 분류기를 신뢰성 있게 선택할 수 있는가?

주요 결과

• 적대적 균형 방법은 Kang-Schafer, Circular, ACIC 세 가지 벤치마크에서 모두 최신 기술 수준의 성능을 달성하였으며, 대부분의 경우 CBPS, EBAL, MMD-V2보다 뛰어난 성능을 보였다.
• ADV-LR, ADV-SVM, ADV-MLP 버전 각각이 서로 다른 벤치마크에서 최상의 성능을 기록하여 데이터 특성에 대한 뛀난 적응성을 입증하였다.
• 교차검증 절차는 각 케이스에서 최적의 분류기를 성공적으로 선택하였고, 자동으로 선택된 분류기와 함께 사용된 적대적 방법은 전체 순위에서 2위를 기록하여 강건성을 잘 보여주었다.
• IPW 및 기타 재가중 기반 기법 대비 뛰어난 성능을 보였으며, 특히 추정 분산을 감소시키고 편향 보정을 향상시키는 데 뛰어났다.
• 이론적 분석을 통해 추정 오차가 판별자의 분류 오차와 가중치의 변동성에 의해 경계됨을 확인하였으며, 이는 방법 설계의 타당성을 뒷받침한다.
• 지수적 경사 하강법은 정규화되고 분산이 작은 가중치를 효과적으로 생성하여 판별자가 처리군을 식별하는 능력을 최소화하는 데 기여하였다.