[논문 리뷰] SHAP for additively modeled features in a boosted trees model

M. Mayer|arXiv (Cornell University)|2022. 07. 29.

Model Reduction and Neural Networks인용 수 8

한 줄 요약

이 논문은 기울기 부스팅 트리 모델에서 추가적으로 모델링된 특성(트리 깊이 제약 또는 상호작용 제약을 통해 달성됨)을 가질 경우, SHAP 의존도 플롯이 수직 이동을 제외하고는 부분 의존도 플롯(PDPs)과 수학적으로 동일하다는 것을 보여준다. 이러한 동등성은 SHAP 플롯을 중심으로 다른 특성이 고정된 조건에서의 영향으로 해석할 수 있도록 하여, 특히 특성이 추가적으로 모델링된 경우 전역 모델 설명에 대한 해석 가능성 손실 없이 SHAP 플롯을 직접 사용할 수 있게 한다.

ABSTRACT

An important technique to explore a black-box machine learning (ML) model is called SHAP (SHapley Additive exPlanation). SHAP values decompose predictions into contributions of the features in a fair way. We will show that for a boosted trees model with some or all features being additively modeled, the SHAP dependence plot of such a feature corresponds to its partial dependence plot up to a vertical shift. We illustrate the result with XGBoost.

연구 동기 및 목표

• 기울기 부스팅 트리 모델에서 추가적으로 모델링된 특성을 가진 경우 SHAP 의존도 플롯과 부분 의존도 플롯(PDPs) 간의 관계를 조사하는 것.
• 추가적인 모델링 조건 하에서 SHAP 의존도 플롯이 PDPs의 유효하고 해석 가능한 대체 수단이 될 수 있는지 판단하는 것.
• 실제 보험 데이터를 사용한 XGBoost 및 실용적 설정에서 SHAP와 PDPs 간의 이론적 동등성을 검증하는 것.
• 추가 모델에서 SHAP 의존도 플롯을 중심으로 다른 특성이 고정된 조건에서의 영향으로 해석할 수 있도록 하는 가이드라인 제공

제안 방법

• 공동 게임 이론과 셰플리 값에 기반한 이론적 분석을 통해 추가 특성 모델링 조건 하에서 SHAP 값과 PDPs 간의 수학적 동등성을 확립하는 것.
• XGBoost 모델에서 효율적인 SHAP 값 계산을 위해 TreeSHAP 알고리즘 적용 및 트리 깊이와 상호작용 제약을 통제한 상태에서의 적용.
• 특성을 추가적으로 모델링하기 위해 max_depth = 1(완전히 추가적) 또는 상호작용 제약을 사용하여 선택된 특성에 대해 상호작용 효과가 없도록 설정.
• OpenML에서 제공하는 보험 청구 데이터 세트의 일부(식별자 ID 42876)를 사용하여 SHAP 의존도 플롯과 PDPs 간의 실증적 비교.
• 직접 시각적 및 정량적 비교를 위해 SHAP 플롯을 PDPs와 일치시키기 위해 수직 이동 조정.
• 최종 청구 금액을 모델링하기 위해 XGBoost에서 가우스 분포를 가진 감마 회귀 모델을 사용하고, 데이터의 80%를 사용해 모델 학습 및 설명, 나머지 1,000개 샘플 행으로 평가.

실험 결과

연구 질문

• RQ1 기울기 부스팅 트리 모델에서 특정 특성의 SHAP 의존도 플롯이 부분 의존도 플롯과 일치하는 조건은 무엇인가?
• RQ2 기울기 부스팅 트리 모델에서 특성이 추가적으로 모델링된 경우, SHAP 의존도 플롯을 중심으로 다른 특성이 고정된 조건에서의 영향으로 해석할 수 있는가?
• RQ3 상호작용 제약 또는 트리 깊이 제한이 SHAP와 PDP 플롯 간의 관계에 미치는 영향는 어떠한가?
• RQ4 추가 모델에서 SHAP 의존도 플롯이 PDPs의 해석 가능성과 얼마나 잘 유지되는가?

주요 결과

• 기울기 부스팅 트리 모델에서 추가적으로 모델링된 특성에 대해 SHAP 의존도 플롯은 수직 이동을 제외하고는 부분 의존도 플롯(PDPs)과 수학적으로 동일하다.
• 완전히 추가적인 모델에서(max_depth = 1), 모든 특성의 SHAP 의존도 플롯은 해당 PDPs와 정확히 평행하며, 이는 이론적 동등성을 확인한다.
• 상호작용 제약을 사용한 부분적으로 추가적인 모델에서, 추가적으로 모델링된 특성들(예: DateNum 및 Female)은 SHAP 플롯이 PDPs와 평행한 반면, 나머지 특성들은 산산이 흩어진 패턴을 보이며 상호작용 효과를 나타낸다.
• SHAP 플롯과 PDP 플롯 간의 수직 이동은 일관되며, 효과의 형태나 해석에 영향을 주지 않아, SHAP 플롯을 직접 설명 가능한 효과 시각화 도구로 사용할 수 있다.
• 여성인 경우의 로그 기대 최종 청구 금액에 대한 영향은 +0.32(8.85 – 8.53)로 평가되며, 이는 추가 모델에서 SHAP 및 PDP 플롯 양쪽 모두에서 일관되게 나타난다.
• SHAP와 PDP 플롯 간의 대응은 진정으로 추가적인 특성에 대해서만 성립한다; 상호작용 효과가 있는 특성들은 SHAP 의존도 플롯에서 산만한 패턴을 보이며 비추가적 행동을 나타낸다.