[논문 리뷰] Fast TreeSHAP: Accelerating SHAP Value Computation for Trees

Jilei Yang|arXiv (Cornell University)|2021. 09. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 29인용 수 44

한 줄 요약

이 논문은 트리 기반 모델의 SHAP 값 계산을 가속하기 위해 Fast TreeSHAP v1 및 v2를 도입하며, v1은 약 1.5배, v2는 약 2.5~3배의 속도 향상을 달성하고, 특히 다중 시점 해석에서 합리적인 메모리 비용으로 이점을 제공합니다.

ABSTRACT

SHAP (SHapley Additive exPlanation) values are one of the leading tools for interpreting machine learning models, with strong theoretical guarantees (consistency, local accuracy) and a wide availability of implementations and use cases. Even though computing SHAP values takes exponential time in general, TreeSHAP takes polynomial time on tree-based models. While the speedup is significant, TreeSHAP can still dominate the computation time of industry-level machine learning solutions on datasets with millions or more entries, causing delays in post-hoc model diagnosis and interpretation service. In this paper we present two new algorithms, Fast TreeSHAP v1 and v2, designed to improve the computational efficiency of TreeSHAP for large datasets. We empirically find that Fast TreeSHAP v1 is 1.5x faster than TreeSHAP while keeping the memory cost unchanged. Similarly, Fast TreeSHAP v2 is 2.5x faster than TreeSHAP, at the cost of a slightly higher memory usage, thanks to the pre-computation of expensive TreeSHAP steps. We also show that Fast TreeSHAP v2 is well-suited for multi-time model interpretations, resulting in as high as 3x faster explanation of newly incoming samples.

연구 동기 및 목표

• 산업계에서 대규모 트리 앙상자에서 SHAP 값 계산 속도를 높일 필요성을 제시한다.
• 대규모 샘플 크기에 대해 TreeSHAP의 계산 단계를 분석하고 개선한다.
• 이론적/경험적 속도 향상을 가진 Fast TreeSHAP v1과 v2의 두 가지 변형을 제안한다.
• 일회성 및 다중 시점 해석 시나리오에서 속도와 메모리 사용 간의 트레이드오프를 평가한다.

제안 방법

• 트리에 대한 SHAP 값 계산을 도출하고 단순화하여 TreeSHAP의 병목 지점을 식별한다.
• 경로 임계치를 만족하는 부분집합에 한정하여 부분집합 크기 추적을 제약함으로써 평균 작업량을 줄여 Fast TreeSHAP v1을 개발한다.
• 모든 C ⊆ D_k에 대해 서브트리 기여도 U_{D_k,C}를 사전 계산하여 시간과 공간을 교환하는 Fast TreeSHAP v2를 개발한다.
• v1 및 v2에 대한 이론적 시간/공간 개선을 보여주는 복잡도 분석을 제공한다.
• v2를 위해 Prep 및 Score 단계를 구현하여 입력 데이터에 대한 사전 계산 및 빠른 스코어링을 가능하게 한다.
• 다수의 데이터셋에서 원래 TreeSHAP 및 Fast TreeSHAP v1과 비교한 성능을 평가한다.

실험 결과

연구 질문

• RQ1 TreeSHAP 계산을 재구성하여 트리 앙상자에서 시간 복잡도를 줄일 수 있는 방법은 무엇인가?
• RQ2 대규모 데이터셋과 다양한 모델 크기에서 수정된 TreeSHAP 알고리즘의 실용적 속도향상은 얼마나 되는가?
• RQ3 SHAP를 위한 서브트리 기여도 사전 계산 시 메모리-시간 트레이드오프는 어떻게 되는가?
• RQ4 일회성 대 다중 시점 해석 시나리오에서 Fast TreeSHAP v2가 가장 큰 이점을 제공하는 경우는 무엇인가?

주요 결과

• Fast TreeSHAP v1은 동일한 메모리 footprint에서 TreeSHAP보다 약 1.5배 더 빠른 계산 속도를 보인다.
• Fast TreeSHAP v2는 TreeSHAP 대비 약 2.5배~3배의 속도 향상을 보이며 메모리 사용은 소폭 증가한다.
• Fast TreeSHAP v2는 사전 계산 단계로 인해 다중 시점 모델 해석에 특히 적합하다.
• 데이터셋과 모델 크기에 따라 Fast TreeSHAP v2는 모델 크기가 커질수록 더 큰 속도 향상을 보이며, 더 큰 모델의 경우 준비 시간도 증가한다.
• 균형 트리에 대해서는 Fast TreeSHAP v2가 스코어링 단계에서 선형 스케일링 향상을 달성할 수 있어 실제로 최대 3배의 속도 향상을 제공한다.
• SHAP 값 정확도는 수치 정밀도에 근거해 원래의 TreeSHAP와 일치한다.