[논문 리뷰] Shapley Decomposition of R-Squared in Machine Learning Models

Nickalus Redell|arXiv (Cornell University)|2019. 08. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 18인용 수 18

한 줄 요약

이 논문은 기계학습 모델의 개별 특성에 설명된 분산을 공정하게 할당하는 모델 무관형의 셰플리 값 기반 R제곱 분해를 소개한다. 이는 특성 수준 기여도가 총 R²에 정확히 합산되도록 보장한다. 이 방법은 반복적인 모델 재학습을 피하기 위해 사전에 계산된 셰플리 값을 활용하여 기울기 부스팅 트리와 신경망에서 최소한의 오버헤드로 효율적인 계산을 가능하게 한다.

ABSTRACT

In this paper we introduce a metric aimed at helping machine learning practitioners quickly summarize and communicate the overall importance of each feature in any black-box machine learning prediction model. Our proposed metric, based on a Shapley-value variance decomposition of the familiar $R^2$ from classical statistics, is a model-agnostic approach for assessing feature importance that fairly allocates the proportion of model-explained variability in the data to each model feature. This metric has several desirable properties including boundedness at 0 and 1 and a feature-level variance decomposition summing to the overall model $R^2$. In contrast to related methods for computing feature-level $R^2$ variance decompositions with linear models, our method makes use of pre-computed Shapley values which effectively shifts the computational burden from iteratively fitting many models to the Shapley values themselves. And with recent advancements in Shapley value calculations for gradient boosted decision trees and neural networks, computing our proposed metric after model training can come with minimal computational overhead. Our implementation is available in the R package shapFlex.

연구 동기 및 목표

• 기계학습 모델의 설명된 분산을 공정하게 분배하는 모델 무관형의 글로벌 특성 중요도 측정법을 개발하는 것.
• 기존 R제곱의 비선형 모델에서의 한계를 해결하기 위해, 모델 재학습 없이 셰플리 값을 활용해 분산을 분해하는 것.
• 전체 모델 R²에 정확히 합산되며 범위가 0에서 1로 제한되는 안정적이고 경계가 있는 측정법을 제공하여 모델 행동의 해석 가능성과 소통 능력을 향상시키는 것.
• 기존 반복적 모델 피팅에서 사전에 계산된 셰플리 값으로 전환함으로써 계산 부담을 줄이며, 특히 현대적 트리 SHAP 및 신경망 근사 기법을 통해 실현 가능하게 하는 것.
• 전통적인 통계적 R제곱과 현대 기계학습의 해석 가능성 간 격차를 메우며, 실용적인 모델 분석 및 소통을 지원하는 것.

제안 방법

• 이 방법은 셰플리 값 기반 분산 분해를 사용하여 모델의 총 R²를 각 개별 특성에 기여도를 할당한다.
• 특성 수준의 R²는 협동 게임 이론을 통해 각 특성이 고유하게 기여하는 분산의 비율로 계산된다.
• 이 접근법은 특성 부분집합에 대한 모델 재학습이 필요 없도록 사전에 계산된 셰플리 값을 기반으로 한다.
• 분해 과정은 개별 특성의 R² 기여도 합계가 전체 모델 R²와 정확히 일치하도록 보장하여 분산의 가산성을 유지한다.
• 이 방법은 R 패키지 shapFlex에 구현되어 있으며, 훈련된 모델에서 효율적인 계산을 위해 r2() 함수를 사용한다.
• 선형 및 비선형 모델 모두에 호환되며, 기울기 부스팅 트리와 신경망과 같은 모델에 특히 적합하다. 특히 트리 SHAP를 사용해 정확한 셰플리 값 계산이 가능하다.

실험 결과

연구 질문

• RQ1 비선형 기계학습 모델에서 셰플리 값 기반 R제곱 분해가 설명된 분산을 특성에 공정하고 효율적으로 할당할 수 있는가?
• RQ2 모델 과적합 수준과 하이퍼파rameter 튜닝 변화에 따라 특성 수준의 R제곱 분해가 얼마나 안정적인가?
• RQ3 복잡한 비선형 모델에서 제안된 측정법이 경계성(0에서 1)과 총합이 R²인 성질을 유지하는가?
• RQ4 특성 간 상관관계가 셰플리 기반 R제곱 분해의 타당성과 안정성에 어떤 영향을 미치는가?
• RQ5 이 측정법은 훈련 데이터와 테스트 데이터 모두에 효과적으로 적용될 수 있으며, 계층적 또는 시간 구조가 있는 데이터에서 어떻게 성능을 발휘하는가?

주요 결과

• 와이너리 품질 데이터셋에서 R²가 0.05에서 0.50으로 증가함에 따라 유일 분산 기여도(σ_unique)가 약 0.88에서 약 0.68로 예측 가능한 방식으로 감소함을 확인하였다.
• 산불 데이터셋에서도 동일한 R² 범위에서 σ_unique가 약 0.86에서 약 0.67로 감소하였으며, 이는 평균 상관계수 약 0.17를 가진 데이터셋 간에 일관된 행동을 보임을 시사한다.
• 두 데이터셋 간의 σ_unique 추세 유사성은 특성 간 상관계수와 셰플리 기반 분산 분해의 안정성 간 잠재적 연관성을 시사한다.
• 측정법은 경계성(0에서 1)과 총합이 R²인 성질을 유지하여 이론적 타당성과 해석 가능성의 신뢰성을 입증한다.
• 사전에 계산된 셰플리 값을 통해 계산 효율성이 확보되었으며, 특히 트리 SHAP를 사용할 경우 모델 학습 후 거의 즉각적인 R제곱 분해가 가능하다.
• 이 방법은 비기술자 스테이크홀더에게 특성 중요도를 효과적으로 전달하는 데도 유용한 잠재력을 보이고 있다.