[논문 리뷰] General Pitfalls of Model-Agnostic Interpretation Methods for Machine Learning Models

Christoph Molnar, Gunnar König외 7명|arXiv (Cornell University)|2020. 07. 08.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

이 논문은 PDP, PFI, SHAP와 같은 모델에 종속되지 않는 해석 방법에서 발생하는 심각한 함정을 특정하고 그 예를 들어 설명하며, 특징 간 의존성, 모델의 일반화 부족, 정당화되지 않은 원인 관계 해석 등으로 인한 오용이 잘못된 결론을 이끌 수 있음을 보여준다. 연구자들에게 실용적인 지침을 제공하고, 신뢰할 수 있고 원인 관계를 고려한 기계학습 모델의 해석에 대한 열린 연구 과제를 제시한다.

ABSTRACT

An increasing number of model-agnostic interpretation techniques for machine learning (ML) models such as partial dependence plots (PDP), permutation feature importance (PFI) and Shapley values provide insightful model interpretations, but can lead to wrong conclusions if applied incorrectly. We highlight many general pitfalls of ML model interpretation, such as using interpretation techniques in the wrong context, interpreting models that do not generalize well, ignoring feature dependencies, interactions, uncertainty estimates and issues in high-dimensional settings, or making unjustified causal interpretations, and illustrate them with examples. We focus on pitfalls for global methods that describe the average model behavior, but many pitfalls also apply to local methods that explain individual predictions. Our paper addresses ML practitioners by raising awareness of pitfalls and identifying solutions for correct model interpretation, but also addresses ML researchers by discussing open issues for further research.

연구 동기 및 목표

• 모델에 종속되지 않는 방법을 사용하여 기계학습 모델을 해석할 때 발생하는 일반적이고 고위험의 함정에 대해 기계학습 연구자들이 인지하도록 경각심을 일깨우는 것.
• 특징 간 의존성, 모델의 일반화 부족, 잘못된 원인 관계 해석과 같은 문제들이 PDP, PFI, SHAP 등의 해석 결과에 어떻게 잘못된 결론을 이끌 수 있는지 특정하고 예시를 들어 설명하는 것.
• PDP, PFI, SHAP와 같은 해석 기법을 정확히 적용하기 위한 실용적인 해결책과 지침을 제공하는 것.
• 복잡한 기계학습 모델의 신뢰할 수 있고 원인 관계를 고려한 해석을 가능하게 하는 데 있어 열린 연구 과제, 즉 원인 관계 해석, 불확실성 추정, 고차원 또는 상호작용이 있는 특징 처리에 대한 과제를 부각하는 것.
• 진단 도구, 해석 방법의 메타 평가, 모델 및 데이터 분포 변화에 대한 강건성 향상에 관한 추가 연구를 자극하는 것.

제안 방법

• PDP, PFI, ALE, SHAP, LIME와 같은 글로벌 모델에 종속되지 않는 해석 방법에서 발생하는 일반적인 함정을 체계적으로 검토하고 분류하는 것.
• 합성 데이터와 실제 세계의 예시를 사용하여 특징 간 의존성, 모델 과적합, 고차원 설정이 해석 결과에 어떻게 왜곡을 초래하는지 보여주는 것.
• 구조적 원인 모델(SCM)을 적용하여 예측적 특징 중요도(예: PFI 또는 계수)가 원인적 중요도를 의미하지는 않음을 보여주는 것.
• PDP가 평균 원인 효과로 간주될 수 있는 조건을 제안하며, 이를 위해 유효한 조정 집합과 데이터 생성 과정에 대한 강력한 가정이 필요하다는 것을 설명하는 것.
• 특징 중요도 점수를 원인 효과로 해석하는 데서의 한계를 논의하며, 특히 특징들이 혼동 변수이거나 원인 사슬의 일부일 경우에 더욱 그렇다는 점을 강조하는 것.
• 오해의 소지가 있는 해석을 탐지하기 위한 진단 도구의 필요성을 제기하고, 상호작용이나 의존성이 있는 특징을 강건하게 다룰 수 있는 방법에 대한 연구를 촉구하는 것.

실험 결과

연구 질문

• RQ1 PDP나 PFI와 같은 모델에 종속되지 않는 해석 방법이 잘못되거나 오해의 소지가 있는 해석을 내놓는 조건는 무엇인가요?
• RQ2 특징 간 의존성과 상호작용은 PDP나 ALE와 같은 글로벌 해석 방법의 타당성에 어떻게 영향을 미치나요?
• RQ3 특징 중요도 점수(예: PFI나 SHAP에서 유도된 것)가 원인 효과로 잘못 해석될 수 있는 상황는 언제이며, 원인 관계 해석을 위해서는 어떤 가정이 필요합니까?
• RQ4 연구자들은 모델의 해석이 일반화 부족이나 과적합으로 인해 신뢰할 수 없을 때를 어떻게 식별할 수 있나요?
• RQ5 모델에 종속되지 않는 방법을 사용하여 복잡한 기계학습 모델의 신뢰할 수 있고 원인 관계를 고려한 해석을 가능하게 하기 위한 열린 연구 과제는 무엇인가요?

주요 결과

• 특징 간 의존성이 있는 경우 PDP는 훈련 데이터 분포에 존재하지 않는 비현실적인 데이터 조합을 평균화하므로 잘못된 결과를 낼 수 있다.
• 특징들이 상관관계가 있을 경우 PFI는 잘못된 중요도 순서를 낳을 수 있다. 왜냐하면 한 특징을 무작위로 뒤섞는 것은 그와 상관관계가 있는 다른 특징을 간접적으로 영향을 줄 수 있기 때문이다.
• 랜덤 포레스트나 기울기 부스팅 모델과 같은 모델에서 유도된 특징 중요도 점수는 반드시 원인적 중요도를 의미하지는 않는다. 모델이 진짜 원인보다는 대체 요소나 혼동 변수에 의존할 수 있기 때문이다.
• 모델의 성능이 좋다고 해도 PFI 값이 0보다 크다고 해서 그 특징이 목표 변수의 원인이 되는 것은 아니다. 그 특징은 연관 변수이거나 결과일 수 있다.
• 모델에 종속되지 않는 방법의 원인 관계 해석은 강력한 가정이 충족될 때에만 타당하다. 예를 들어, PDP가 평균 원인 효과를 나타내기 위해서는 유효한 조정 집합이 필요하다.
• 구조적 원인 모델(SCM)에서 유래한 데이터에 선형 모델을 적용하면 비원인적 특징($x_3$, $x_4$, $x_5$)이 비영인 계수를 가질 수 있으며, 이는 예측적 관련성 ≠ 원인적 관련성임을 보여준다.