[논문 리뷰] Explaining the data or explaining a model? Shapley values that uncover non-linear dependencies

Daniel Fryer, Inga Strümke외 1명|arXiv (Cornell University)|2020. 07. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 8

한 줄 요약

이 논문은 에너지 거리 상관계수, 애핀-불변 거리 상관계수, 힐버트-슈미트 독립성 기준과 같은 통계적 의존도 측정법을 특성 함수로 사용함으로써 비선형 특성 간 의존성을 설명하는 모델에 종속되지 않는 Shapley 값 방법인 Sunnies를 소개한다. 모델에 종속되지 않는 기존의 접근 방식과 달리, Sunnies는 훈련된 모델에 의존하지 않고 데이터의 내재된 구조를 드러내어 비선형 의존성을 개별 특성에 할당함으로써 효과적인 탐색적 데이터 분석과 모델 진단을 가능하게 한다.

ABSTRACT

Shapley values have become increasingly popular in the machine learning literature thanks to their attractive axiomatisation, flexibility, and uniqueness in satisfying certain notions of `fairness'. The flexibility arises from the myriad potential forms of the Shapley value extit{game formulation}. Amongst the consequences of this flexibility is that there are now many types of Shapley values being discussed, with such variety being a source of potential misunderstanding. To the best of our knowledge, all existing game formulations in the machine learning and statistics literature fall into a category which we name the model-dependent category of game formulations. In this work, we consider an alternative and novel formulation which leads to the first instance of what we call model-independent Shapley values. These Shapley values use a (non-parametric) measure of non-linear dependence as the characteristic function. The strength of these Shapley values is in their ability to uncover and attribute non-linear dependencies amongst features. We introduce and demonstrate the use of the energy distance correlations, affine-invariant distance correlation, and Hilbert-Shmidt independence criterion as Shapley value characteristic functions. In particular, we demonstrate their potential value for exploratory data analysis and model diagnostics. We conclude with an interesting expository application to a classical medical survey data set.

연구 동기 및 목표

• 모델의 행동이 아니라 데이터의 내재된 의존성을 설명하는 모델에 종속되지 않는 Shapley 값 방법의 부족을 해결하기 위해.
• 적합된 모델이나 모델 클래스에 의존하지 않는 특성 중요도 프레임워크를 개발하기 위해.
• 통계적 의존도를 기반으로 한 원칙적이고 공정한 할당 메커니즘을 통해 데이터 내 비선형 상호작용 효과를 탐지하기 위해.
• 이러한 값이 탐색적 데이터 분석과 모델 진단에서의 유용성을 입증하고, 특히 데이터와 모델 예측 간의 괴리점을 식별하는 데 기여하기 위해.
• 실제 데이터에서 성별과 관련된 것과 같은 숨겨진 편향이나 구조적 불일치를 드러내는 데 새로운 진단 시각을 제공하기 위해.

제안 방법

• 모델 성능이나 예측 오차가 아니라 비선형 통계적 의존도 측정법(예: 에너지 거리 상관계수, HSIC, AIDC)을 특성 함수로 사용하는 새로운 게임 설정을 제안한다.
• 특성 집합과 목표 변수 간의 총 의존도에서 각 특성이 기여하는 마진 기여도를 기반으로 Shapley 값을 정의하며, 의존도 측정법을 지ayoff 함수로 사용한다.
• 정확한 계산이 큰 특성 집합에서는 불가능하므로, Sunnies는 Sunnies는 Shapley 값을 근사하기 위해 일관된 몬테카를로 알고리즘(Song et al., 2016)을 적용한다.
• 데이터 구조와 모델 행동을 비교하기 위해 속성 부여된 레이블 의존도(ADL), 모델 예측 의존도(ADP), 잔차 의존도(ADR) 세 가지 진단 지표를 도입한다.
• 특성이 상호 독립임이 알려진 경우 블록 분해를 사용하여 계산 비용을 O(2^n)에서 O(2^k)로 감소시킨다. 여기서 k << n이다.
• 거리 상관계수(DC)를 통한 의존도 탐지에 대해 인구 수준의 점근적 보장을 사용하지만, 선형 관계에 대한 편향이 있음을 인정한다.

실험 결과

연구 질문

• RQ1 훈련된 모델에 의존하지 않고도 비선형 의존성을 설명할 수 있는 Shapley 값을 구성할 수 있는가?
• RQ2 통계적 의존도 측정법을 특성 함수로 사용하여 모델에 종속되지 않는 Shapley 값을 어떻게 구성할 수 있는가?
• RQ3 이러한 값은 시간에 따라 또는 데이터 하위집합 간에 의존 구조의 변화를 어느 정도 탐지할 수 있는가?
• RQ4 모델에 종속되지 않는 Shapley 값은 모델-데이터 불일치를 진단하는 데 모델에 종속된 대응 방식과 어떻게 비교되는가?
• RQ5 이 방법은 의료 데이터에서 성별과 관련된 것과 같은 숨겨진 편향이나 구조적 불일치를 드러낼 수 있는가?

주요 결과

• Sunnies는 동적 데이터 생성 과정에서 시간에 따라 변화하는 비선형 의존 구조의 변화를 성공적으로 탐지하며, 모델 성능 저하 이전에 특정 특성에 기여하는 원인을 특정한다.
• 모델 진단에서 Sunnies는 성별이 균형 잡힌 모델이 여성에 대해 진정한 의존 구조를 포착하지 못하고 있음을 드러내었으며, 훈련 데이터가 균형 잡혀 있음에도 불구하고 모델 표현에 잠재된 편향이 있음을 시사한다.
• 다섯 개의 특성에서 유도된 240개의 마진 기여도를 다섯 가지 해석 가능한 Shapley 값(ADL, ADP, ADR 각각에 대해)으로 요약하여 명확한 시각적 비교와 통찰 추출을 가능하게 한다.
• 에너지 거리 상관계수, AIDC, HSIC를 특성 함수로 사용함으로써 선형 방법이 놓칠 수 있는 비선형 및 비정규 분포 의존도를 탐지할 수 있다.
• Shapley 값의 지수적 복잡도에도 불구하고, 특성 간 독립성을 활용한 블록 분해를 통해 계산 가능성이 향상되어 필요한 마진 기여도의 수를 줄였다.
• 이 방법은 데이터 기반 의존도(ADL)와 모델 기반 의존도(ADP)를 구분하는 진단 도구를 제공하며, 모델 실패나 편향이 있을 수 있음을 시사하는 괴리점을 드러낸다.