[논문 리뷰] Consistent feature attribution for tree ensembles

Scott Lundberg, Su‐In Lee|arXiv (Cornell University)|2017. 06. 19.

Bayesian Modeling and Causal Inference참고 문헌 5인용 수 149

한 줄 요약

논문은 현재 트리 앙상블 특성 기여도 방법들이 일관되지 않음을 보이고 SHAP 기반 기여도 계산을 위한 빠른 정확한 Tree SHAP 알고리즘을 도입하여 XGBoost에 통합해 빠르고 일관된 설명과 개선된 지도 학습 클러스터링을 가능하게 한다.

ABSTRACT

Note that a newer expanded version of this paper is now available at: arXiv:1802.03888 It is critical in many applications to understand what features are important for a model, and why individual predictions were made. For tree ensemble methods these questions are usually answered by attributing importance values to input features, either globally or for a single prediction. Here we show that current feature attribution methods are inconsistent, which means changing the model to rely more on a given feature can actually decrease the importance assigned to that feature. To address this problem we develop fast exact solutions for SHAP (SHapley Additive exPlanation) values, which were recently shown to be the unique additive feature attribution method based on conditional expectations that is both consistent and locally accurate. We integrate these improvements into the latest version of XGBoost, demonstrate the inconsistencies of current methods, and show how using SHAP values results in significantly improved supervised clustering performance. Feature importance values are a key part of understanding widely used models such as gradient boosting trees and random forests, so improvements to them have broad practical implications.

연구 동기 및 목표

• 트리 앙상블에 대한 기존 특성 기여도 방법이 일관되지 않거나 직관에 반할 수 있음을 입증한다.
• SHAP 값을 유일하게 일관된 기여도 방법으로 제시하고 채택한다.
• 트리 앙상블에 대해 SHAP 값을 계산하기 위한 빠르고 정확한 알고리즘(Tree SHAP)을 개발한다.
• Tree SHAP를 XGBoost에 통합하고 예측 설명에 미치는 영향을 평가한다.
• 감독 학습 기반 클러스터링 실험을 통해 SHAP 값의 실용적 이점을 입증한다.

제안 방법

• SHAP를 유일하게 일관된 접근 방식으로 정당화하기 위해 트리 앙상블 특성 기여도를 가법적 특성 기여 방법과 연결한다.
• 트리 앙상블에 대한 정확한 SHAP 값 알고리즘을 도출하여 복잡도를 지수적으로에서 O(TLD^2) 시간으로 감소시킨다.
• 실용적 사용을 위한 직관적인 O(TL2^M) 기본형과 더 빠른 O(TLD^2) 방법을 포함한 Tree SHAP 알고리즘을 개발한다.
• XGBoost에 Tree SHAP를 통합하고 대형 모델에서의 설명 속도 향상을 입증한다.

실험 결과

연구 질문

• RQ1 모델 의존도가 바뀔 때 트리 앙상블에 대한 현재 특성 기여도 방법이 특성 중요도와 관련하여 일관되지 않은가?
• RQ2 SHAP 값이 트리 앙상블에 대해 고유하고 일관되며 국소적으로 정확한 기여도를 제공할 수 있는가?
• RQ3 트리와 트리 앙상블에 대해 SHAP 값을 어떻게 효율적으로 계산할 수 있는가?
• RQ4 SHAP 기반 기여도가 모델 설명 및 다운스트림 작업(예: 클러스터링)에 미치는 실용적 영향은 무엇인가?

주요 결과

• 현재 경로 기반 특성 기여도 방법은 일관되지 않으며 출력에 더 큰 영향을 미치는 특성에게 더 낮은 중요도를 할당할 수 있다.
• SHAP 값은 누락성(missingness)과 일관성을 만족하는 유일하고 국소적으로 정확한 가법적 특성 기여도 방법이다.
• Tree SHAP는 SHAP 계산을 지수적에서 다항식 시간으로 감소시켜 대형 모델에 대한 설명을 가능하게 한다 (unbalanced 트리에 대해 O(TL^2), balanced 트리에 대해 O(TL log^2 L)).
• Tree SHAP를 XGBoost에 통합하면 수천 개의 트리와 수백 개 입력을 가진 모델에 대한 빠르고 확장 가능한 설명이 가능해진다.
• 유전자 발현 알츠하이머 연구에서 전통적인 경로 기반 기여도에 비해 SHAP 기반 설명이 감독 학습 클러스터링 성능을 향상시킨다.