[논문 리뷰] Explaining a Series of Models by Propagating Shapley Values

Hugh Chen, Scott Lundberg외 1명|arXiv (Cornell University)|2021. 04. 30.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

DeepSHAP는 게임 이론에 기반한 이론적 프레임워크를 활용해 모델 파ip라인을 통해 샤플리 값(Shapley values)을 전파함으로써 복잡한 기계학습 모델의 시리즈를 빠르고 확장 가능하게 설명하는 방법이다. 이는 딥러닝, 선형, 트리 기반 아키텍처를 포함한 다양한 모델에서 효율적이고 정확한 기여도 할당을 가능하게 하며, 별도의 기관에서 소유한 모델이 분산된 환경에서도 작동한다. 기존의 모델 무관 방법보다 속도에서 한 단계 빠르다.

ABSTRACT

Local feature attribution methods are increasingly used to explain complex machine learning models. However, current methods are limited because they are extremely expensive to compute or are not capable of explaining a distributed series of models where each model is owned by a separate institution. The latter is particularly important because it often arises in finance where explanations are mandated. Here, we present DeepSHAP, a tractable method to propagate local feature attributions through complex series of models based on a connection to the Shapley value. We evaluate DeepSHAP across biological, health, and financial datasets to show that it provides equally salient explanations an order of magnitude faster than existing model-agnostic attribution techniques and demonstrate its use in an important distributed series of models setting.

연구 동기 및 목표

• 특히 별도의 기관에서 소유한 모델이 분산된 환경에서 작동하는 효율적이고 확장 가능한 모델 설명 방법의 부족을 해결하기 위해.
• 모델 무관 방법의 한계를 극복하기 위해, 이는 계산 비용이 높고 전체 모델 액세스가 필요하기 때문이다.
• 딥러닝 또는 트리 기반 모델에 특화된 기여도 할당 방법을 연결된 모델 파이프라인 전반에 걸쳐 확장하기 위해.
• 모델 레이어 간 기여도 할당의 효율성과 일관성을 보장하는 이론적으로 탄탄한 프레임워크를 제공하기 위해.
• 금융 및 헬스케어와 같이 모델 투명성이 의무화된 고위험 분야에서 실용적이고 해석 가능한 설명을 가능하게 하기 위해.

제안 방법

• DeepLIFT의 규칙과 샤플리 값 간의 연결을 간섭 조건 기대값 집합 함수를 통해 제안하며, 이를 바탕으로 ICE 샤플리 값(ICE Shapley value)을 도입한다.
• ICE 샤플리 값이 단일 기준 기여도 할당의 평균으로 분해됨을 도출함으로써 효율적인 계산을 가능하게 한다.
• 각 레이어에서 효율성을 유지하면서 기여도를 시리즈 모델을 거쳐 전파할 수 있도록 일반화된 재스케일 규칙을 제안한다.
• 해석 가능성 향상을 위해 기능 그룹에 기여도를 할당하기 위해 그룹 재스케일 규칙을 도입한다.
• 단일 기준이 아닌 다수의 기준 샘플을 사용하여 기여도 추정의 편향을 줄이고 정확도를 향상시킨다.
• 기여도 값에 따라 기능 순서를 정한 후 추론 제거 테스트를 수행하여 기여도의 정확성을 검증한다.

Figure 1: DeepSHAP estimates Shapley value feature attributions to explain a series of models using a baseline distribution. (a) Local feature attributions with DeepSHAP require explicands (samples being explained), a baseline distribution (samples being compared to), and a model that is comprised o

실험 결과

연구 질문

• RQ1 샤플리 값은 시리즈 모델을 통해 효율적으로 전파될 수 있는가? 이를 통해 분산된 환경에서 국소적 설명이 가능해지는가?
• RQ2 단일 기준 대비 다수의 기준 샘플을 사용할 경우 기여도 품질과 편향에 어떤 영향을 미치는가?
• RQ3 일관된 프레임워크로 선형, 딥러닝, 트리 기반 모델 등 다양한 모델 유형을 하나의 파이프라인 내에서 설명할 수 있는가?
• RQ4 모델 무관 방법 대비 계산 비용을 크게 줄였을 때도 설명의 정밀도를 유지할 수 있는가?
• RQ5 고차원 기능 집합에 대해 해석 가능성을 향상시키는 그룹 수준의 기여도를 지원할 수 있는가?

주요 결과

• DeepSHAP는 모델 무관 방법과 동등한 해석 능력을 가지면서도 최대 한 단계 빠른 속도를 제공하여 실세계 파이프라인에서의 실용적 구현을 가능하게 한다.
• 이 방법은 소비자 신용 점수와 같은 모델을 입력으로 사용하는 분산된 모델 시리즈를 성공적으로 설명할 수 있으며, 기존 모델 무관 방법은 모델 액세스가 불가능해 실패한다.
• 단일 기준 대비 다수의 기준 샘플을 사용할 경우, 기준이 데이터 분포를 잘 반영하지 못할 경우 편향이 크게 줄어든다.
• 유전체 데이터에서 생물학적으로 의미 있는 유전자 집합을 기반으로 한 그룹 기여도는 이전 문헌과 강한 일치를 보이며, 이는 해석 가능성의 타당성을 검증한다.
• 추론 테스트 결과, DeepSHAP의 기여도 값에 따라 순서가 매겨진 기능은 예측값에 강력하고 단조로운 영향을 미치며, 가장 중요한 기능을 제거할 경우 예측값이 가장 크게 감소한다.
• 현재까지 알려진 바에 따르면 DeepSHAP는 이론적 일관성과 계산 효율성을 유지하면서도 복잡한 다기관 모델 파이프라인을 완전히 설명할 수 있는 唯一支원 방법이다.

Figure 2: Using a single all-black baseline image (DeepLIFT) leads to biased attributions compared to attributions with a randomly sampled baseline distribution (DeepSHAP). The image is the explicand. The attribution plots are the sum of the absolute value of the feature attributions for the three c