[논문 리뷰] Explainable AI for Trees: From Local Explanations to Global Understanding

Scott Lundberg, Gabriel Erion외 8명|arXiv (Cornell University)|2019. 05. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 68인용 수 262

한 줄 요약

이 논문은 트리 모델에 대한 샤프리 기반 로컬 설명을 정확한 다항시간 알고리즘인 TreeExplainer를 도입하고, 특성 간 상호 작용을 포착하도록 확장하며, 다수의 로컬 설명에서 글로벌 이해를 구축하는 방법을 보여준다. 또한 사망률, 신장 질환, 병원 시술 시간에 대한 의료 데이터셋에서의 응용과 모델 모니터링 및 하위 집단 발견도 시연한다.

ABSTRACT

Tree-based machine learning models such as random forests, decision trees, and gradient boosted trees are the most popular non-linear predictive models used in practice today, yet comparatively little attention has been paid to explaining their predictions. Here we significantly improve the interpretability of tree-based models through three main contributions: 1) The first polynomial time algorithm to compute optimal explanations based on game theory. 2) A new type of explanation that directly measures local feature interaction effects. 3) A new set of tools for understanding global model structure based on combining many local explanations of each prediction. We apply these tools to three medical machine learning problems and show how combining many high-quality local explanations allows us to represent global structure while retaining local faithfulness to the original model. These tools enable us to i) identify high magnitude but low frequency non-linear mortality risk factors in the general US population, ii) highlight distinct population sub-groups with shared risk characteristics, iii) identify non-linear interaction effects among risk factors for chronic kidney disease, and iv) monitor a machine learning model deployed in a hospital by identifying which features are degrading the model's performance over time. Given the popularity of tree-based machine learning models, these improvements to their interpretability have implications across a broad set of domains.

연구 동기 및 목표

• 게임 이론 보장을 갖춘 정확한 로컬 설명을 제공함으로써 트리 기반 모델(랜덤 포레스트, 그레이디언트 부스팅 트리)의 해석 가능성을 개선한다.
• 로컬 설명을 확장하여 특성 간 상호 작용을 직접 측정할 수 있게 한다.
• 다수의 로컬 설명을 모아 글로벌 모델 구조를 추론하는 도구를 개발하고 실제 의료 응용을 시연한다.

제안 방법

• TreeExplainer를 개발하여 트리 앙상블에 대해 SHAP 값을 다항 시간에 정확하게 계산한다.
• 로컬 특성 상호 작용을 포착하기 위해 SHAP 상호 작용 값을 도입한다.
• 로컬 신뢰성을 유지하면서 로컬 설명을 글로벌 모델 이해로 결합하는 다섯 가지 방법을 제안한다.
• 세 개의 데이터셋과 모델에 대해 21개의 로컬 설명 지표로 평가한다.
• 주요 트리 기반 ML 패키지와 통합된 고성능 구현을 제공한다.

실험 결과

연구 질문

• RQ1 트리 모델에 대해 정확한 SHAP 기반 로컬 설명을 효율적으로 계산할 수 있는가?
• RQ2 로컬 설명을 확장하여 로컬 수준에서 특성 간 상호 작용을 정량화할 수 있는가?
• RQ3 다수의 로컬 설명을 어떻게 모아 글로벌 모델 구조와 동작을 밝힐 수 있는가?
• RQ4 의료 의사결정 맥락에서 SHAP 기반 설명이 인간의 직관과 일치하는가?
• RQ5 배포된 모델을 모니터링하고 시간에 따른 데이터 드리프트나 문제를 감지하기 위해 로컬 설명을 어떻게 활용할 수 있는가?

주요 결과

• TreeExplainer는 다항 시간에 SHAP 값을 정확하게 계산하며 로컬 정확도와 일관성 보장을 제공한다.
• SHAP 상호 작용 값은 로컬 수준에서 주요 효과와 상호 작용 구성요소로 분해를 가능하게 한다.
• 다수의 로컬 설명을 모으면 전통적 글로벌 특성 중요도보다 더 풍부하고 충실한 글로벌 모델 표현을 얻을 수 있다.
• TreeExplainer는 CKD, 사망률, 병원 시술 기간 데이터셋에서 21개의 평가 지표에 걸쳐 다른 로컬 설명 방법을 능가한다.
• 로컬 설명 임베딩은 인구 하위집단에 대한 감독형 클러스터링과 해석 가능한 차원 축소를 지원한다.