[논문 리뷰] Explaining black box decisions by Shapley cohort refinement

Masayoshi Mase, Art B. Owen외 1명|arXiv (Cornell University)|2019. 11. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 24인용 수 30

한 줄 요약

이 논문은 타겟 인스턴스 주변의 유사도 기반 코hort를 구성함으로써 관측된 데이터만을 사용하여 블랙박스 모델 결정을 설명하는 새로운 변수 중요도 방법인 코hort Shapley를 제안한다. 기존 Shapley와 달리 예측 변수 유사도를 바탕으로 대상자 포함/제외를 통해 코hort를 정밀화함으로써 비현실적인 가상의 조건을 피하고, 간접적 영향을 반영하며 동일한 예측 변수에 대해 동일한 중요도를 보장함으로써 보다 신뢰성 있고 직관적인 중요도 점수를 도출한다.

ABSTRACT

We introduce a variable importance measure to quantify the impact of individual input variables to a black box function. Our measure is based on the Shapley value from cooperative game theory. Many measures of variable importance operate by changing some predictor values with others held fixed, potentially creating unlikely or even logically impossible combinations. Our cohort Shapley measure uses only observed data points. Instead of changing the value of a predictor we include or exclude subjects similar to the target subject on that predictor to form a similarity cohort. Then we apply Shapley value to the cohort averages. We connect variable importance measures from explainable AI to function decompositions from global sensitivity analysis. We introduce a squared cohort Shapley value that splits previously studied Shapley effects over subjects, consistent with a Shapley axiom.

연구 동기 및 목표

• 비현실적이거나 불가능한 입력 조합을 포함하는 기존 Shapley 값의 한계를 해결하여 블랙박스 모델을 설명하는 데 목적이 있다.
• 관측된 데이터 포인트에만 의존하는 변수 중요도 측정 방법을 개발하여 타당성과 해석 가능성 보장이 가능하도록 하며 목적이 있다.
• 예를 들어 레드라인 감사와 같은 상황에서 모델에 사용되지 않은 변수들, 예를 들어 보호된 속성들로부터 간접적 영향을 탐지할 수 있도록 하며 목적이 있다.
• 모델에 특정한 편향이 반영되지 않도록 동일한 예측 변수에 대해 동일한 중요도를 보장하며 목적이 있다.
• 모델에 종속되지 않은 방법과 최근접 이웃 기반 민감도 분석을 모두 지원하는 방법을 제공하며 목적이 있다.

제안 방법

• 코hort Shapley는 각 변수에 대해 유사도 임계값을 설정하여 타겟 인스턴스의 일부 예측 변수에 대해 유사한 주어진 주체들을 선택함으로써 $2^d$개의 코hort를 형성한다.
• 각 예측 변수에 대해, 동일한 주체들만 포함하도록 코hort를 정밀화함으로써 코hort 평균 예측값이 얼마나 변화하는지 평가한다.
• 이러한 코hort 평균값을 기반으로 Shapley 값을 계산하여 변수 중요도를 할당하며, 이는 Shapley 공리에 부합하도록 보장된다.
• 고차원 데이터에 대해 효율적으로 Shapley 값을 근사하기 위해 몬테카를로 샘플링을 사용한다.
• 모델 기반 및 반응 기반 코hort 평균화를 모두 지원하여 다양한 가정 하에 민감도 분석이 가능하도록 한다.
• 유사도 측정 방법을 사용하여 '유사한' 주체를 정의하며, 이 측정 방법의 선택은 최종 중요도 점수에 영향을 미친다.

실험 결과

연구 질문

• RQ1 비현실적인 가상의 입력을 사용하지 않고 어떻게 블랙박스 모델 결정을 설명할 수 있는가?
• RQ2 관측된 데이터만을 사용하고 외삽을 피할 수 있는 변수 중요도 측정 방법을 설계할 수 있는가?
• RQ3 코hort Shapley는 상관관계가 있거나 중복되는 예측 변수에 대해 기존 Shapley와 비교해 진정한 예측 영향을 얼마나 잘 포착하는가?
• RQ4 코hort Shapley는 모델에 사용되지 않은 변수들, 예를 들어 보호된 속성들로부터의 간접적 영향을 탐지할 수 있는가?
• RQ5 코hort Shapley는 모델에 특정한 아티팩트에 영향을 받지 않고 동일한 예측 변수에 대해 동일한 중요도를 보장하는가?

주요 결과

• 보스턴 주택 데이터셋에서 기존 Shapley 값이 'CRIM'을 가장 중요한 변수로 분류한 데 비해, 코hort Shapley는 비현실적인 합성 데이터 포인트에 의존함으로써 이를 가장 중요도가 낮은 변수 중 하나로 재분류했다.
• 코hort Shapley는 'RM', 'ZN', 'LSTAT'을 주요 영향을 미치는 변수로 식별하였으며, 'ZN'이 모델에 사용되지 않았음에도 불구하고 구조적 종속성을 반영하였다.
• 이 방법은 'ZN'에 대해 정밀화함으로써 코hort 내에서 'LSTAT' 값이 간접적으로 감소하는 것으로 밝혀내어, 'LSTAT'가 낮은 모델 사용률에도 불구하고 높은 중요도를 가지는 이유를 설명했다.
• 기존 Shapley 값은 'ZN'이 모델에 사용되지 않았기 때문에 중요도를 0으로 할당한 반면, 코hort Shapley는 'ZN'이 코hort 구성에 간접적인 영향을 미친다는 점을 반영하여 비영이 아닌 값을 할당했다.
• 코hort Shapley 값은 외삽된 가상의 입력이 아닌 실제 데이터 분포에 기반하여 더 안정적이고 해석 가능한 것으로 나타났다.
• 수치 분석 결과, 마진 샘플링이 홀드아웃 데이터셋보다 훨씬 더 비현실적인 데이터 포인트를 생성하는 것으로 확인되어 코hort 기반 방법의 필요성을 입증했다.