[논문 리뷰] Unifying local and global model explanations by functional decomposition of low dimensional structures

Munir Hiabu, Joseph T. Meyer외 1명|arXiv (Cornell University)|2022. 08. 12.

Scientific Computing and Data Management참고 문헌 38인용 수 7

한 줄 요약

이 논문은 어떤 회귀 또는 분류 함수라도 주효과 및 상호작용 효과의 합으로 표현할 수 있도록 하는 功能적 분해 방법을 제안한다. 새로운 신뢰성 제약 조건을 도입함으로써, 간섭적 SHAP 값과 부분 의존도 그림을 정확하게 계산할 수 있게 되어, 보호된 특성과 관련된 편향된 성분들을 후행적으로 제거할 수 있으며, 이는 저차원 또는 앙상블 기반 모델에서 유효하고 해석 가능한 모델 설명을 유지하는 데 기여한다.

ABSTRACT

We consider a global representation of a regression or classification function by decomposing it into the sum of main and interaction components of arbitrary order. We propose a new identification constraint that allows for the extraction of interventional SHAP values and partial dependence plots, thereby unifying local and global explanations. With our proposed identification, a feature's partial dependence plot corresponds to the main effect term plus the intercept. The interventional SHAP value of feature $k$ is a weighted sum of the main component and all interaction components that include $k$, with the weights given by the reciprocal of the component's dimension. This brings a new perspective to local explanations such as SHAP values which were previously motivated by game theory only. We show that the decomposition can be used to reduce direct and indirect bias by removing all components that include a protected feature. Lastly, we motivate a new measure of feature importance. In principle, our proposed functional decomposition can be applied to any machine learning model, but exact calculation is only feasible for low-dimensional structures or ensembles of those. We provide an algorithm and efficient implementation for gradient-boosted trees (xgboost) and random planted forest. Conducted experiments suggest that our method provides meaningful explanations and reveals interactions of higher orders. The proposed methods are implemented in an R package, available at \url{https://github.com/PlantedML/glex}.

연구 동기 및 목표

• 로컬(Shap)과 글로벌(부분 의존도) 모델 설명을 하나의 일관된 프레임워크로 통합하는 것.
• 임의의 순서의 주효과 및 상호작용 효과를 식별할 수 있는 기능적 분해를 개발하여 간섭적 SHAP 및 부분 의존도 그림과 호환되도록 하는 것.
• 모델 재학습 없이도 보호된 특성과 관련된 성분을 제거함으로써 사후 편향 감소를 가능하게 하는 것.
• 저차원 또는 앙상블 기반 모델(예: xgboost, 랜덤 식재림)에서 q-상호작용 SHAP 값의 효율적이고 정확한 알고리즘을 제공하는 것.
• 분해된 성분을 기반으로 한 새로운, 더 세밀한 특성 중요도 측정 기준을 도입하는 것.

제안 방법

• 모델 함수를 임의의 순서의 주효과 및 상호작용 효과 성분으로 분해하는 기능적 분해를 제안한다.
• 특성의 부분 의존도 그림이 그 주효과에 상수항을 더한 것과 정확히 일치하도록 보장하는 새로운 신뢰성 제약 조건을 도입한다.
• 주어진 특성과 관련된 모든 성분을 가중치의 합으로 표현한 간섭적 SHAP 값을 유도하며, 가중치는 성분의 차원의 역수와 같다.
• 이 분해를 통해 관측치에 따라 공유되는 특성 조합만을 고려하는 관측치 기반 전역 설명을 추출함으로써, 국소적 및 전역적 설명 가능성을 동시에 달성한다.
• 최대 상호작용 순서 q가 작은 경우, 트리 기반 모델(xgboost, 랜덤 식재림)에 대해 정확한 성분 계산을 가능하게 하는 효율적인 알고리즘을 적용한다.
• 보호된 특성을 포함하는 모든 성분을 0으로 설정함으로써 사후 특성 제거를 가능하게 하여, 직접 효과는 제거하면서도 상관된 특성들을 통한 간접 효과는 유지한다.

실험 결과

연구 질문

• RQ1 로컬(Shap)과 글로벌(부분 의존도) 모델 설명을 동시에 지원하는 통합 프레임워크를 개발할 수 있는가?
• RQ2 기능적 분해가 부분 의존도 그림이 정확히 주효과에 상수항을 더한 것과 일치하도록 제약을 걸 수 있는가?
• RQ3 간섭적 SHAP 값이 성분의 차원에 기반한 가중치를 가진 주효과 및 상호작용 성분의 가중합으로 재해석될 수 있는가?
• RQ4 모델 재학습 없이도 성분 삭제를 통해 보호된 특성의 편향을 얼마나 효과적으로 사후적으로 제거할 수 있는가?
• RQ5 제안된 분해 방법이 기존 방법에 비해 고차원 상호작용을 어떻게 드러내며 특성 중요도 평가를 더 세밀하게 개선하는가?

주요 결과

• 제안된 분해 방법은 최대 상호작용 순서 q가 작을 경우 트리 기반 모델에서 q-상호작용 SHAP 값을 정확하게 계산할 수 있어 정밀한 국소적 및 전역적 설명을 가능하게 한다.
• 제안된 신뢰성 제약 조건 하에서 특성의 부분 의존도 그림은 정확히 그 주효과 항에 상수항을 더한 것과 같다.
• 특성 k에 대한 간섭적 SHAP 값은 수학적으로 k와 관련된 모든 주효과 및 상호작용 성분의 가중합과 동일하며, 가중치는 성분의 차원의 역수와 같다.
• 연봉 예측 시뮬레이션에서 성별 특성을 성분 삭제를 통해 사후 제거함으로써 남성과 여성 간 예측 격차의 중앙값은 29.79에서 10.57로 감소하였고, 시간 작업과의 상관관계로 인해 모델 재학습은 영향을 미치지 않았다.
• adult 데이터셋에서 남성과 여성 예측 간 중앙값 차이는 전체 모델일 때 0.13에서 분해된 모델일 때 0.05로 감소하여 효과적인 편향 감소를 입증하였다.
• 이 방법은 고차원 상호작용을 성공적으로 드러내며, 단일 값 전역 측정 방법에 비해 특성 중요도 평가에 더 세밀한 이해를 제공한다.