[논문 리뷰] Trying to Outrun Causality with Machine Learning: Limitations of Model Explainability Techniques for Identifying Predictive Variables

Matthew J. Vowels|arXiv (Cornell University)|2022. 02. 20.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 기계학습 해석 기법—예를 들어 랜덤 포레스트의 변수 중요도나 신경망의 샤플리 값—이 데이터의 잠재적 인과적 구조로 인해 예측에 핵심적인 변수를 잘못 식별할 수 있음을 보여준다. 이는 해당 변수들이 결과와 강하게 상관관계가 있더라도 마찬가지다. 주요 기여는 이러한 기법들을 과학적 탐색에 사용하는 것에 대한 경고이며, 신뢰할 수 있는 변수 식별을 위해 상호정보량과 인과적 발견 기법을 대신 사용할 것을 제안한다.

ABSTRACT

Machine Learning explainability techniques have been proposed as a means of `explaining' or interrogating a model in order to understand why a particular decision or prediction has been made. Such an ability is especially important at a time when machine learning is being used to automate decision processes which concern sensitive factors and legal outcomes. Indeed, it is even a requirement according to EU law. Furthermore, researchers concerned with imposing overly restrictive functional form (e.g., as would be the case in a linear regression) may be motivated to use machine learning algorithms in conjunction with explainability techniques, as part of exploratory research, with the goal of identifying important variables which are associated with an outcome of interest. For example, epidemiologists might be interested in identifying `risk factors' - i.e. factors which affect recovery from disease - by using random forests and assessing variable relevance using importance measures. However, and as we demonstrate, machine learning algorithms are not as flexible as they might seem, and are instead incredibly sensitive to the underling causal structure in the data. The consequences of this are that predictors which are, in fact, critical to a causal system and highly correlated with the outcome, may nonetheless be deemed by explainability techniques to be unrelated/unimportant/unpredictive of the outcome. Rather than this being a limitation of explainability techniques per se, we show that it is rather a consequence of the mathematical implications of regression, and the interaction of these implications with the associated conditional independencies of the underlying causal structure. We provide some alternative recommendations for researchers wanting to explore the data for important variables.

연구 동기 및 목표

• 기계학습 모델에서 진정으로 예측 가능한 변수를 식별하는 데 있어 모델 해석 기법의 한계를 조사하는 것.
• 유연성은 있지만 기계학습 모델이 데이터의 잠재적 인과적 구조에 민감하여 잘못된 중요도 순위를 초래할 수 있음을 보여주는 것.
• 해석 기법이 과학적 탐구를 위해 데이터 내 통계적 또는 예측적 연관성을 신뢰할 수 있게 드러낼 수 있다는 일반적인 가정을 도전하는 것.
• 기초 데이터 분석 단계에서 중요한 변수를 식별하고자 하는 연구자들에게 실용적인 대안을 제공하는 것.
• 구조적 종속성에 대한 고려 없이 블랙박스 기계학습 모델을 인과적 또는 예측적 추론의 대체 수 Mittel로 사용하는 것에 대한 경고.

제안 방법

• 연구는 알려진 인과 그래프에서 유도된 시뮬레이션된 합성 데이터를 사용하여 다양한 조건부 통일성 구조를 모의한다.
• 랜덤 포레스트의 중요도 점수와 신경망의 샤플리 값에 기반한 변수 중요도를 다양한 인과 구성에서 평가한다.
• 연구자들은 모델 기반 중요도 측정치를 진짜 데이터 생성 과정에서 유도된 기준 통계적 종속성과 비교한다.
• 비모수적 통계적 종속성 측정치인 상호정보량을 사용하여 기능 형태를 가정하지 않고 관련 변수를 식별한다.
• 조건부 통일성과 가능도 기반의 구조 학습을 포함하는 인과적 발견 기법이 인과적 구조를 추론하고 변수 선택을 안내하는 데 권장된다.
• 실험은 인과 그래프의 구조를 체계적으로 변화시켜 구조적 종속성이 모델 해석 결과에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트 중요도나 샤플리 값과 같은 모델 해석 기법이 결과와 통계적으로 상관관계가 있지만 인과적으로 관련된 변수를 신뢰성 있게 식별할 수 있는가?
• RQ2 데이터의 잠재적 인과적 구조가 해석 기법의 중요 예측 변수 식별 성능에 어떤 영향을 미치는가?
• RQ3 선형 모델, 랜덤 포레스트, 신경망은 데이터의 구조적 종속성에 대해 얼마나 다를 정도로 민감한가?
• RQ4 조건부 통일성에 의해 속임을 당하지 않는 더 신뢰할 수 있는 예측 변수 식별 방법은 무엇이 있는가?
• RQ5 인과적 발견 기법이 탐색적 연구 환경에서 관련 변수 식별에 개선을 가져올 수 있는가?

주요 결과

• 랜덤 포레스트 중요도 측정치는 데이터 내 복잡한 조건부 통일성 구조로 인해 결과와 강하게 상관관계가 있지만 중요도가 낮게 평가되는 변수를 자주 잘못 분류한다.
• 신경망의 샤플리 값 설명 역시 구조적 민감성에 취약하지만, 알려진 인과 그래프에서는 랜덤 포레스트보다 더 예측 가능하다.
• 선형 회귀 계수는 진짜 인과적 구조와 일치하지만 비선형 종속성을 포착하지 못하므로 해석 가능성과 유연성 사이의 상충을 드러낸다.
• 연구는 해석 기법이 데이터의 잠재적 인과적 구조에 대해 불변이 아니므로 과학적 탐색에 신뢰할 수 없다는 결론을 내린다.
• 상호정보량은 기능 형태나 비모수적 분포 가정 없이 통계적 종속성을 탐지하는 강력한 비모수적 대안을 제공한다.
• 조건부 통일성과 가능도 기반의 구조 학습을 포함하는 인과적 발견 방법은 초기 단계 연구에서 관련 변수 식별에 더 신뢰할 수 있는 길을 제공한다.