[논문 리뷰] RealCause: Realistic Causal Inference Benchmarking

Brady Neal, Chin-Wei Huang외 1명|arXiv (Cornell University)|2020. 11. 30.

Bayesian Modeling and Causal Inference참고 문헌 40인용 수 6

한 줄 요약

이 논문은 유연한 생성 모델을 사용하여 실제 데이터와 구분이 불가능한 합성 데이터를 생성함으로써 진정성 있는 원인 인과 추론 기준을 제공하는 RealCause를 소개한다. 이는 지표적 인과 효과 추정을 가능하게 하며, 1,500개 이상의 인과 추정기의 철저한 평가를 가능하게 한다. 실세계 설정에서 예측 성능 기반의 하이퍼파rameter 선택이 합리적이고 효과적이라는 점을 입증한다.

ABSTRACT

There are many different causal effect estimators in causal inference. However, it is unclear how to choose between these estimators because there is no ground-truth for causal effects. A commonly used option is to simulate synthetic data, where the ground-truth is known. However, the best causal estimators on synthetic data are unlikely to be the best causal estimators on real data. An ideal benchmark for causal estimators would both (a) yield ground-truth values of the causal effects and (b) be representative of real data. Using flexible generative models, we provide a benchmark that both yields ground-truth and is realistic. Using this benchmark, we evaluate over 1500 different causal estimators and provide evidence that it is rational to choose hyperparameters for causal estimators using predictive metrics.

연구 동기 및 목표

• 인과 추정기 평가를 위한 현실적인 데이터 분포와 지표적 인과 효과를 동시에 갖춘 기준의 부족을 해결하기 위해.
• 인과 추론의 근본적 문제인 관측되지 않은 잠재적 결과의 부재를 해결하기 위해, 알려진 인과 효과를 가진 합성 데이터를 생성하기 위해.
• 다양한 데이터 분포, 다양한 오버랩과 혼란 요인 수준을 가진 설정에서 1,500개 이상의 인과 추정기 성능을 평가하기 위해.
• 예측 성능 지표가 실세계 설정에서 인과 추정기의 하이퍼파rameter 선택을 신뢰성 있게 이끌 수 있는지 조사하기 위해.
• 예측 지표 기반으로 인과 추정기 성능을 예측할 수 있는 오픈소스 기준을 제공하기 위해.

제안 방법

• 실제 사전 처리 공변량 $W$ 에서 $P_{\text{model}}(T|W)$ 와 $P_{\text{model}}(Y|T,W)$ 를 학습하여 진정한 데이터 분포 $P(T|W)$ 와 $P(Y|T,W)$ 와 일치시킨다.
• 실제 데이터에서 $W$ 를 샘플링하고, 그 다음에 $P_{\text{model}}(T|W)$ 에서 $T$ 를 샘플링하며, $P_{\text{model}}(Y|T,W)$ 에서 $Y$ 를 샘플링함으로써 합성 데이터를 생성한다.
• 적합된 모델을 사용하여 간섭 분포 $P_{\text{model}}(Y|\mathrm{do}(T=1),W)$ 와 $P_{\text{model}}(Y|\mathrm{do}(T=0),W)$ 를 계산하고, 이로부터 지표적 평균 치료 효과(ATE)를 도출한다.
• 알려진 ATE를 가진 합성 데이터를 사용하여 표준화, 분할 표준화, 역확률가중치화 등 다양한 인과 추정기를 평가한다.
• 예측 지표(예: 평균 제곱오차, 균형 정확도)를 사용하여 인과 추정기의 하이퍼파rameter 선택을 이끌기 위해 결과 모델과 성향 스코어 모델의 성능을 평가한다.
• 다양한 데이터셋에서 선형 회귀, SVM, 랜덤 포레스트 등의 결과 모델과 로지스틱 회귀, kNN, QDA 등의 성향 스코어 모델의 조합을 1,500개 이상의 조합으로 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 합성 기준이 실질적인 데이터 분포를 갖추고 있으며 동시에 지표적 인과 효과를 제공함으로써 인과 추정기 평가에 적합한가?
• RQ2 실제 데이터 설정에서 결과 모델과 성향 스코어 모델의 예측 성능 지표가 인과 추정 정확도와 상관이 있는가?
• RQ3 다양한 오버랩과 혼란 요인 수준을 가진 다양한 데이터 분포에서 어떤 인과 추정기 가족이 가장 잘 성능을 내는가?
• RQ4 예측 지표를 사용한 하이퍼파rameter 선택이 인과 추론에서 기계학습의 방식과 유사하게 합리적인가?
• RQ5 단일 기준이 다양한 실세계 유사 데이터 분포에서 인과 추정기를 신뢰성 있게 순위 매길 수 있는가?

주요 결과

• RealCause는 지표적 인과 효과를 제공하면서도 실제 데이터와 통계적으로 구분이 불가능한 데이터를 성공적으로 생성하여, 지표적, 현실성, 관측되지 않은 혼란 요인 없음, 다양한 데이터 분포라는 네 가지 이상적 기준을 모두 충족시켰다.
• 이 기준은 다양한 데이터셋에서 1,500개 이상의 인과 추정기 설정을 평가할 수 있게 하여, 오버랩과 혼란 정도와 같은 데이터 특성에 따라 성능의 차이를 드러냈다.
• 예측 지표(예: 평균 제곱오차, 균형 정확도) 기반의 하이퍼파arameter 선택이 더 나은 인과 추정기 성능을 이끌어내는 강력한 경험적 증거가 있으며, 이는 인과 추론의 하이퍼파aram터 튜닝에 기계학습 방식을 적용하는 데에 유리하다는 것을 뒷받침한다.
• 성향 스코어가 잘 추정된 경우, 잘 조정된 역확률가중치화(IPW) 추정기(절단 및 안정화 기법 포함)가 여러 데이터셋에서 뛰어난 성능을 보였다.
• 결과 모델이 잘 校정된 경우 표준화 및 분할 표준화 추정기가 뛰어난 성능을 보였으며, 이질적 치료 효과 설정에서는 분할 표준화(예: T-learner)가 표준화(예: S-learner)를 상회하는 경우가 많았다.
• 오픈소스인 RealCause 기준은 결과 모델 및 성향 스코어 모델의 예측 성능과 인과 추정기 성능 간의 관계를 담은 데이터셋을 포함하고 있어, 향후 예측 지표 기반의 모델 선택을 가능하게 한다.