[논문 리뷰] Consistent Individualized Feature Attribution for Tree Ensembles

Scott Lundberg, Gabriel Erion외 1명|arXiv (Cornell University)|2018. 02. 12.

Forest ecology and management참고 문헌 22인용 수 552

한 줄 요약

이 논문은 일반적인 트리 모델 피처 기여도에서의 불일치를 식별하고, 빠른 Tree SHAP 알고리즘과 SHAP 상호작용 값을 갖춘 SHAP 값을 도입하여 트리 앙상블에 대해 정확하고 일관되며 개별화된 설명을 가능하게 한다.

ABSTRACT

Interpreting predictions from tree ensemble methods such as gradient boosting machines and random forests is important, yet feature attribution for trees is often heuristic and not individualized for each prediction. Here we show that popular feature attribution methods are inconsistent, meaning they can lower a feature's assigned importance when the true impact of that feature actually increases. This is a fundamental problem that casts doubt on any comparison between features. To address it we turn to recent applications of game theory and develop fast exact tree solutions for SHAP (SHapley Additive exPlanation) values, which are the unique consistent and locally accurate attribution values. We then extend SHAP values to interaction effects and define SHAP interaction values. We propose a rich visualization of individualized feature attributions that improves over classic attribution summaries and partial dependence plots, and a unique "supervised" clustering (clustering based on feature attributions). We demonstrate better agreement with human intuition through a user study, exponential improvements in run time, improved clustering performance, and better identification of influential features. An implementation of our algorithm has also been merged into XGBoost and LightGBM, see http://github.com/slundberg/shap for details.

연구 동기 및 목표

• 트리 앙상블에 대한 일관되고 개별화된 피처 기여도의 필요성을 동기 부여하고 형식화한다.
• SHAP 값을 가산적 피처 기여도 내에서 유일하게 일관되고 국소적으로 정확한 기여 방식으로 제안한다.
• 대형 트리 앙상블에서 SHAP 값을 계산하기 위한 빠르고 정확한 Tree SHAP 알고리즘을 개발한다.
• SHAP를 SHAP 상호작용 값으로 확장하여 이원 특징 간 상호작용을 포착한다.
• 시각화, 군집화 및 실제 데이터 활용을 통해 실용적 이점을 시연한다.

제안 방법

• f_x(S)=E[f(x) | x_S]를 정의하고 SHAP 값을 고유하게 일관적이며 국소적으로 정확한 기여도로 도출한다.
• Tree SHAP를 개발하여 SHAP 값을 O(TLD^2) 시간에 계산하도록 하고, 순진한 O(TL2^M) 접근법의 다항시간 대안을 제시한다.
• SHAP를 SHAP 상호작용 값으로 확장하고 이원 특징 간 상호작용을 정량화하기 위해 Shapley 상호작용 지수를 사용한다.
• SHAP 종속도 플롯과 SHAP 요약 플롯 등 시각화 도구를 도입하고 SHAP 기여도를 기반으로 한 감독 학습 군집화를 추가한다.
• 실용적 사용을 위해 XGBoost와 LightGBM과 통합된 구현을 제공한다.

실험 결과

연구 질문

• RQ1 SHAP 값이 트리 앙상블에 대해 유일한 일관되고 국소적으로 정확한 개별화 피처 기여도를 제공할 수 있는가?
• RQ2 대형 트리 앙상블에서 SHAP 값을 어떻게 효율적으로 계산할 수 있는가?
• RQ3 트리 모델 내의 특징 간 상호작용을 밝히는 데 SHAP 상호작용 값의 역할은 무엇인가?
• RQ4 SHAP 기반 시각화와 감독 학습 기반 군집화가 기존 방법에 비해 해석 가능성과 실행 가능한 인사이트를 향상시키는가?

주요 결과

• SHAP 값은 누락과 조건 의존성 하에서 트리 앙상블에 대해 유일하게 일관되고 국소적으로 정확한 개별화 기여도이다.
• Tree SHAP는 O(TLD^2) 시간에 정확한 SHAP 값을 계산하여 대형 모델에 대한 확장 가능한 설명을 가능하게 한다.
• SHAP 상호작용 값은 예측 내 특징 간 상호작용을 원칙적이고 대칭적인 척도로 제공한다.
• SHAP 기반 시각화(요약 및 종속도 플롯)와 감독 학습 기반 군집화가 인간 직관과 군집 성능과의 정합성을 향상시킨다.
• 실증적 시연은 더 빠른 실행 시간, 영향력 있는 특징의 더 나은 식별, 그리고 이전 방법에 비해 더 명확한 상호작용 인사이트를 보여준다.