[논문 리뷰] Understanding Global Feature Contributions With Additive Importance Measures

Ian Covert, Scott Lundberg외 1명|arXiv (Cornell University)|2020. 04. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 42인용 수 168

한 줄 요약

본 논문은 가산적 프레임워크를 통해 전역 특성 중요도를 통합하고, 상호작용을 고려하는 Shapley 값을 사용하여 더 빠르고 신뢰할 수 있는 전역 설명을 제공하는 SAGE라는 모델-비의존적 방법을 제시한다.

ABSTRACT

Understanding the inner workings of complex machine learning models is a long-standing problem and most recent research has focused on local interpretability. To assess the role of individual input features in a global sense, we explore the perspective of defining feature importance through the predictive power associated with each feature. We introduce two notions of predictive power (model-based and universal) and formalize this approach with a framework of additive importance measures, which unifies numerous methods in the literature. We then propose SAGE, a model-agnostic method that quantifies predictive power while accounting for feature interactions. Our experiments show that SAGE can be calculated efficiently and that it assigns more accurate importance values than other methods.

연구 동기 및 목표

• 전역 특성 중요도를 예측력과 특징 부분집합과의 상호작용 측면에서 정의한다.
• 다양한 기존 방법들을 위한 가산적 중요도 척도의 통합 프레임워크를 도입한다.
• 상호작용을 고려하기 위해 Shapley 값을 활용하는 모델-비의존적 방법 SAGE를 제안한다.
• 불확실성 추정치를 갖는 SAGE 값을 계산하기 위한 효율적인 샘플링 기반 근사치를 제공한다.
• SAGE가 더 정확한 특징 기여도를 산출하고 손상된 특징을 탐지할 수 있음을 보여준다.

제안 방법

• 부분집합에 대한 예측력을 모델 기반 및 보편적 지표를 통해 형식화한다.
• 대리 지표 u(S)가 v(S)을 근사하도록 가산적 중요도 척도를 정의한다. u(S)=phi0+sum_{i in S} phi_i.
• 모델의 특징 부분집합에서의 예측력 v_f의 Shapley 값으로 SAGE를 도입한다.
• 수렴 보장과 불확실성 추정을 갖는 SAGE 값을 근사하기 위한 샘플링 기반 알고리즘을 제안한다.
• SAGE와 SHAP 간의 연관성을 보이고 가역적 특징 변환에 대한 불변성을 논의한다.
• 전역 설명을 위한 SHAP 기반의 단순한 계산보다 효율적인 계산 방법을 제시한다.

실험 결과

연구 질문

• RQ1 특징 부분집합 전반에 걸친 예측력 측면에서 전역 특성 중요도는 어떻게 정의할 수 있는가?
• RQ2 가산적 중요도 척도가 기존의 전역 특성 중요도 방법들을 어떻게 통합할 수 있는가?
• RQ3 상호작용을 고려하면서 SAGE가 각 특징에 대한 모델 의존성을 정확하게 정량화할 수 있는가?
• RQ4 불확실성 추정치를 갖는 SAGE 값을 계산하는 효율적이고 모델-비의존적인 방법이 있는가?
• RQ5 SAGE 값이 직관적이고 이론적 특성(예: Shapley 공리, 최적 설정에서의 상호정보)과 일치하는가?

주요 결과

• SAGE는 모델 기반 예측력의 Shapley 값으로 특징 중요도를 할당하며, 이는 총 예측력의 합으로 수렴한다.
• SAGE는 효율성, 대칭성, 더미, 단조성 및 선형성 특성을 만족하여 원칙적인 기여도 할당을 가능하게 한다.
• SAGE는 가역적 특징 변환에 불변하며 SHAP와 관련되어 특징 도메인 전체에 걸쳐 v_f에 대한 가산 근사를 제공한다.
• SAGE의 샘플링 기반 근사는 단순한 로컬 SHAP 계산보다 훨씬 빠르며 불확실성 추정치를 제공한다.
• 다수의 데이터세트에서 실험적 비교는 SAGE가 예측력을 더 정확하게 반영함을 보여주며, 순열 검사, 평균 중요도 및 차단 같은 기준보다 우수하다.
• SAGE는 하위 최적 모델에서 손상된 특징을 식별하고 모델 무결성을 시간에 따라 모니터링하는 데 도움을 줄 수 있다.