[논문 리뷰] Causality-aware counterfactual confounding adjustment as an alternative to linear residualization in anticausal prediction tasks based on linear learners

Elias Chaibub Neto|arXiv (Cornell University)|2020. 11. 09.

Bayesian Modeling and Causal Inference참고 문헌 26인용 수 6

한 줄 요약

이 논문은 선형 학습기에서 사후 예측 작업에 대해 선형 잔차화보다 우월한 원인관계 인식형 역행성 교정 방법을 제안한다. 교란 요인으로 인한 인위적 연관성을 제거하는 역행성 입력을 생성함으로써, 특징과 결과 간 공분산이 渐진적으로 강화되어, 데이터 분포 변화가 발생하더라도 예측 성능이 향상되고 더 높은 내구성이 확보된다. 이는 진정한 데이터 생성 과정이 비선형일 경우에도 성립한다.

ABSTRACT

Linear residualization is a common practice for confounding adjustment in machine learning (ML) applications. Recently, causality-aware predictive modeling has been proposed as an alternative causality-inspired approach for adjusting for confounders. The basic idea is to simulate counterfactual data that is free from the spurious associations generated by the observed confounders. In this paper, we compare the linear residualization approach against the causality-aware confounding adjustment in anticausal prediction tasks, and show that the causality-aware approach tends to (asymptotically) outperform the residualization adjustment in terms of predictive performance in linear learners. Importantly, our results still holds even when the true model is not linear. We illustrate our results in both regression and classification tasks, where we compared the causality-aware and residualization approaches using mean squared errors and classification accuracy in synthetic data experiments where the linear regression model is mispecified, as well as, when the linear model is correctly specified. Furthermore, we illustrate how the causality-aware approach is more stable than residualization with respect to dataset shifts in the joint distribution of the confounders and outcome variables.

연구 동기 및 목표

• 결과가 입력 특징에 원인관계적으로 영향을 주는 사례(예: 뇌 영상 진단 등)에서 교란 요인을 다루기 위한 기계학습 응용 분야에서의 교란 요인 문제를 해결한다.
• 선형 잔차화와 원인관계 인식형 역행성 교란 조정 방법 간의 예측 성능을 비교한다.
• 교란 요인과 결과의 연합 분포에서 데이터 분포 변화가 발생할 경우 두 방법의 안정성을 평가한다.
• 진정한 데이터 생성 모델이 비선형인 경우에도 원인관계 인식 방법이 열등한 성능 유지를 유지함을 보여준다.

제안 방법

• 원인관계 인식 방법은 각 입력 변수를 교란 요인과 결과에 대해 회귀한 후, 교란 요인을 제외한 예측자에서 추정된 잔차를 다시 더함으로써 역행성 입력을 생성한다.
• 이로 인해 교란 요인이 유도하는 인위적 연관성이 제거된 새로운 특징이 도출되며, 이는 입력과 결과 간 진정한 원인관계를 유지한다.
• 교란 요인 영향을 추정하기 위해 선형 모델을 사용한 후 잔차 기반의 역행성 재구성 방법을 적용한다.
• 예측 성능 평가에는 합성 데이터에서 회귀 작업의 평균 제곱오차와 분류 작업의 정확도를 사용한다.
• 데이터 분포 변화 테스트는 교란 요인과 결과의 연합 분포를 테스트 세트 간에 다양하게 변화시켜 실시한다.
• 이론적 분석 결과, 원인관계 인식 특징과 결과 간 공분산은 잔차화된 특징보다 渐진적으로 더 강하다.

실험 결과

연구 질문

• RQ1 원인관계 인식형 역행성 교란 조정 방법은 사후 예측 선형 예측 작업에서 예측 정확도 측면에서 선형 잔차화를 능가하는가?
• RQ2 진정한 데이터 생성 모델이 비선형인 경우에도 선형 조정을 사용하는 원인관계 인식 방법은 어떻게 성능을 내는가?
• RQ3 교란 요인과 결과 변수의 연합 분포에서 데이터 분포 변화가 발생할 경우 원인관계 인식 방법은 잔차화보다 더 안정적인가?
• RQ4 모델 잘못 설정 상황에서 원인관계 인식 방법은 잔차화보다 더 강한 특징-결과 공분산을 유지하는가?

주요 결과

• 원인관계 인식 방법은 선형 잔차화보다 특징과 결과 간 공분산을 더 효과적으로 강화하여 선형 학습기에서 더 높은 예측 성능을 달성한다.
• 진정한 모델이 선형으로 잘못 설정되어도 회귀 작업에서 원인관계 인식 방법은 평균 제곱오차 측면에서 잔차화를 능가한다.
• 분류 작업에서는 모델가 정확히 설정되었는지 여부에 관계없이 원인관계 인식 방법이 잔차화보다 더 높은 정확도를 달성한다.
• 특히 교란 요인과 결과의 연합 분포가 변화할 경우 원인관계 인식 방법은 잔차화보다 훨씬 더 높은 안정성을 보인다.
• 진정한 데이터 생성 과정이 비선형인 경우에도 이론적 결과가 유지되어 모델 잘못 설정에 대한 강건성을 보여준다.
• 1,000회 반복된 실험 결과, 원인관계 인식 방법은 다양한 테스트 분포에서 일관된 성능을 유지하는 반면, 잔차화 방법은 분포 변화에 따라 성능이 저하됨을 확인했다.