[논문 리뷰] Towards causality-aware predictions in static machine learning tasks: the linear structural causal model case

Elias Chaibub Neto|arXiv (Cornell University)|2020. 01. 12.

Bayesian Modeling and Causal Inference참고 문헌 61인용 수 6

한 줄 요약

이 논문은 결과가 특징에 영향을 주는 정적 반인과적 작업에서 인과적 인식 예측 모델을 위한 반사적 학습 방법을 제안한다. 알려진 혼란 변수 또는 중간 변수를 사용하여 유일하게 원하는 인과적 연관성을 유지하는 특징을 시뮬레이션함으로써, 전체 인과 그래프가 없더라도 혼란 요인의 영향을 제거하거나 직접/간접 효과에 집중하는 예측이 가능해지며, 선형 모델에서는 분석 결과를 제공한다.

ABSTRACT

We propose a counterfactual approach to train ``causality-aware predictive models that are able to leverage causal information in static anticausal machine learning tasks (i.e., prediction tasks where the outcome influences the features). In applications plagued by confounding, the approach can be used to generate predictions that are free from the influence of observed confounders. In applications involving observed mediators, the approach can be used to generate predictions that only capture the direct or the indirect causal influences. Mechanistically, we train supervised learners on (counterfactually) simulated features which retain only the associations generated by the causal relations of interest. We focus on linear models, where analytical results connecting covariances, causal effects, and prediction mean squared errors are readily available. Quite importantly, we show that our approach does not require knowledge of the full causal graph. It suffices to know which variables represent potential confounders and/or mediators. We discuss the stability of the method with respect to dataset shifts generated by selection biases and validate the approach using synthetic data experiments.

연구 동기 및 목표

• 결과가 특징에 영향을 주는 정적 반인과 기계 학습 작업에서 혼란 요인과 중재의 영향을 다루는 데 도전한다.
• 완전한 인과 그래프가 필요 없이도 예측 모델이 특정 인과 효과—직접 또는 간접—를 분리할 수 있도록 하는 방법을 개발한다.
• 선택 편향과 데이터셋 이동에 대해 강건한 예측을 가능하게 하기 위해 반사적 시뮬레이션된 특징으로 학습함으로써 예측의 안정성을 확보한다.
• 선형 구조적 인과 모델에서 공분산, 인과 효과, 예측 오차 간의 분석적 연결 고리를 제공한다.
• 전체 인과 구조가 아니라 혼란 변수 및 중간 변수의 지식만으로도 충분하다는 것을 보여준다.

제안 방법

• 관심 있는 인과적 연관성만 유지하는 반사적 시뮬레이션된 특징으로 분류 모델을 학습한다.
• 선형 구조적 인과 모델(Structural Causal Models, SCMs)을 사용하여 공분산, 인과 효과, 예측 평균 제곱 오차 간의 관계를 분석적으로 유도한다.
• 혼란 변수를 보정하거나 중간 변수에 조건을 걸어 직접 또는 간접 효과를 분리함으로써 특징을 시뮬레이션한다.
• 학습 데이터에만 관심 있는 인과 경로만 남도록 특징에 반사적 간섭을 가한다.
• 반사적 특징 생성을 통해 선택 편향으로 인한 데이터셋 이동에 대한 안정성을 확보한다.
• 완전한 인과 그래프가 필요 없으며, 혼란 변수와 중간 변수를 식별하는 것만으로도 충분하다.

실험 결과

연구 질문

• RQ1 반사적 특징 시뮬레이션은 반인과 작업에서 관측된 혼란 변수의 영향을 받지 않는 예측 모델을 생성할 수 있는가?
• RQ2 중간 변수가 관측될 경우, 직접 또는 간접 인과 효과를 분리할 수 있도록 예측 모델을 어떻게 학습할 수 있는가?
• RQ3 선택 편향으로 인한 데이터셋 이동이 인과적 예측의 안정성에 어떤 영향을 미치는가?
• RQ4 제안된 방법 하에서 선형 SCM에서 공분산, 인과 효과, 예측 오차 간의 관계는 어떻게 되는가?
• RQ5 혼란 변수/중간 변수에 대한 부분적인 인과 구조 지식만 있을 경우, 이 방법의 강건성은 어느 정도인가?

주요 결과

• 제안된 방법은 반인과 설정에서 관측된 혼란 변수의 영향을 받지 않는 예측을 성공적으로 생성한다.
• 관심 있는 인과 경로만 유지하는 반사적 시뮬레이션된 특징으로 학습함으로써 직접 또는 간접 인과 효과를 분리할 수 있다.
• 합성 실험을 통해 선택 편향으로 인한 데이터셋 이동에 대해 안정성을 유지함을 검증하였다.
• 선형 SCM 환경에서 공분산, 인과 효과, 예측 평균 제곱 오차 간의 분석적 관계를 유도하고 검증하였다.
• 전체 인과 그래프의 지식이 필요 없으며, 혼란 변수와 중간 변수 식별만으로도 효과적인 학습이 가능하다.
• 합성 데이터 실험을 통해 혼란 요인과 중재가 존재하는 상황에서도 정확하고 인과적으로 해석 가능한 예측을 생성할 수 있음을 확인하였다.