[논문 리뷰] Comparing Baseline Shapley and Integrated Gradients for Local Explanation: Some Additional Insights

Tianshu Feng, Zhipu Zhou외 2명|arXiv (Cornell University)|2022. 08. 12.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 표본 데이터에서 국소 모델 설명을 위한 Baseline Shapley와 통합 기울기(IG)를 비교하며, 이들의 이론적 및 실증적 행동을 분석한다. 두 방법은 선형 모델이나 대칭적인 특성 상호작용과 같은 특정 조건을 만족할 경우 일치하지만, 비선형 설정, 특히 ReLU 활성화를 갖는 신경망에서는 다릅니다. 이 경우 Baseline Shapley는 그 축적적 기반 덕분에 더 일관된 기여도를 보입니다.

ABSTRACT

There are many different methods in the literature for local explanation of machine learning results. However, the methods differ in their approaches and often do not provide same explanations. In this paper, we consider two recent methods: Integrated Gradients (Sundararajan, Taly, & Yan, 2017) and Baseline Shapley (Sundararajan and Najmi, 2020). The original authors have already studied the axiomatic properties of the two methods and provided some comparisons. Our work provides some additional insights on their comparative behavior for tabular data. We discuss common situations where the two provide identical explanations and where they differ. We also use simulation studies to examine the differences when neural networks with ReLU activation function is used to fit the models.

연구 동기 및 목표

• 표본 기계학습 모델에 대한 국소 설명에서 Baseline Shapley와 통합 기울기의 행동을 분석하고 비교하는 것.
• 두 방법이 동일하거나 다른 기여도를 산출하는 이론적 및 실증적 조건을 규명하는 것.
• ReLU 활성화를 갖는 딥 신경망에 적용했을 때 두 방법의 성능과 일관성을 평가하는 것.
• 기존의 축적적 비교를 넘어서 실제 모델 해석에 있어 실용적 함의를 중점으로 추가 통찰을 제공하는 것.

제안 방법

• 저자는 Baseline Shapley와 통합 기울기의 수학적 공식을 분석하며, 그 기초가 되는 축적적 원리와 경로 기반 통합에 초점을 맞춘다.
• 특히 선형 모델과 대칭적인 특성 상호작용 상황에서 두 방법이 동일한 민감도 점수를 산출하는 조건을 유도한다.
• 합성 표본 데이터셋을 사용한 피드포워드 신경망에서 ReLU 활성화 함수를 적용한 시뮬레이션 실험을 수행한다.
• 다양한 입력 샘플에 대해 민감도 기여도를 계산하고 비교하여 일관성과 다름을 평가한다.
• 통합된 이론적 유도와 통제된 모델 아키텍처를 사용한 실증적 검증을 포함한다.
• 특히 효율성과 대칭성과 같은 축적적 성질을 바탕으로 두 방법 간 비교를 수행한다.

실험 결과

연구 질문

• RQ1 Baseline Shapley와 통합 기울기가 표본 데이터에서 동일한 국소 기여도를 산출하는 조건은 무엇인가요?
• RQ2 ReLU 활성화를 갖는 비선형 모델에 적용했을 때 두 방법은 기여도 패턴에서 어떻게 다릅니까?
• RQ3 Baseline Shapley의 축적적 성질이 복잡한 모델에서 통합 기울기보다 해석 가능성에 얼마나 기여합니까?
• RQ4 신경망의 구조나 아키텍처적 요소 중에서 한 설명 방법을 다른 방법보다 체계적으로 선호하는 요소가 있습니까?

주요 결과

• 모델이 선형인 경우 또는 특성 상호작용이 대칭적이고 기준값이 중립적인 경우, Baseline Shapley와 통합 기울기는 동일한 기여도를 산출한다.
• ReLU 활성화를 갖는 비선형 설정에서는 두 방법이 기여도 패턴에서 상당한 차이를 보이며, 특히 비선형성이 높은 특성에서 두드러진다.
• 시뮬레이션 연구 결과, 통합 기울기는 경로 선택에 따라 효율성 축적적 원칙을 위반할 수 있으나, Baseline Shapley는 항상 이를 충족한다. 즉, 기여도의 합은 모델 출력과 기준값의 차이와 일치한다.
• 시뮬레이션 결과, 기준값에서 입력으로 향하는 경로가 데이터 분포를 대표하지 못할 경우 통합 기울기는 불안정한 기여도를 산출할 수 있다.
• 특히 고차원 표본 데이터에서 비선형 모델에서 Baseline Shapley는 입력 변형과 경로 선택에 더 강건함을 보였다.
• 비선형성 또는 강한 상호작용을 보이는 특성에서 두 방법 간의 다름이 가장 두드러지며, 이는 통합 기울기가 이러한 경우에 중요도를 잘못 기여도로 기록할 수 있음을 시사한다.