[논문 리뷰] Shapley explainability on the data manifold

Christopher Frye, Damien de Mijolla외 4명|arXiv (Cornell University)|2020. 06. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 43인용 수 12

한 줄 요약

이 논문은 AI 해석 가능성에서 이면(manifold) 외 해석의 한계를 극복하기 위해 데이터 다양체 위에서 셰플리 값(Shapley values)을 계산하는 두 가지 방법을 제안한다. 첫 번째 방법은 입력 부분집합 조건 하에서 특징을 보간하기 위해 생성 모델을 사용하며, 두 번째 방법은 지도 학습 회귀를 통해 셰플리 값 함수를 직접 학습한다. 두 방법 모두 이면 외 기준 대비 더 정확하고 안정적이며 해석 가능한 설명을 제공하며, 특히 MNIST 및 약물 소비 데이터셋과 같은 고차원 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

Explainability in AI is crucial for model development, compliance with regulation, and providing operational nuance to predictions. The Shapley framework for explainability attributes a model's predictions to its input features in a mathematically principled and model-agnostic way. However, general implementations of Shapley explainability make an untenable assumption: that the model's features are uncorrelated. In this work, we demonstrate unambiguous drawbacks of this assumption and develop two solutions to Shapley explainability that respect the data manifold. One solution, based on generative modelling, provides flexible access to data imputations; the other directly learns the Shapley value-function, providing performance and stability at the cost of flexibility. While "off-manifold" Shapley values can (i) give rise to incorrect explanations, (ii) hide implicit model dependence on sensitive attributes, and (iii) lead to unintelligible explanations in higher-dimensional data, on-manifold explainability overcomes these problems.

연구 동기 및 목표

• 이면 외 셰플리 값의 근본적인 결함을 규명하고, 특징 독립성을 가정하고 비현실적인 데이터 스플라이싱을 유도하는 문제를 입증한다.
• 모델에 종속적이지 않은 설명 가능성에서 이면 외 보간으로 인해 발생하는 잘못된, 불안정하고 이해하기 어려운 설명 문제를 해결한다.
• 기본 데이터 다양체를 존중하는, 확장 가능하고 일반적인 두 가지 방법을 개발하여 셰플리 값을 계산한다.
• 이면 외 대비 이면 설명이 더 정확하고 안정적이며 의미적으로 더 명확한 이유를 보여주며, 특히 고차원 데이터에서 뛰어난 성능을 발휘함을 입증한다.
• 비현실적인 데이터 스플라이싱을 피하는 실용적이고 성능이 우수하며 모델에 종속적이지 않은 셰플리 설명 가능성의 솔루션을 제공한다.

제안 방법

• 데이터 일관성을 확보하기 위해 연합에 포함되지 않은 특징을 연합에 포함된 특징에 조건화하는 방식의 이면 값 함수 $ v^{\text{(on)}}_{f_y(x)}(S) = \mathbb{E}_{p(x'\mid x_S)}[f_y(x')] $ 를 제안한다.
• 이를 위해 $ p(x'\mid x_S) $ 를 추정하는 생성 모델 기반 접근법을 도입하여, 다양체 위에서의 특징 누락 보간을 위한 유연하고 모델에 종속적이지 않은 방법을 제공한다.
• 신경망을 사용해 셰플리 값 함수를 직접 지도 학습 회귀하는 방법을 개발하며, 값 함수에 대해 평균 제곱오차(MSE)를 최소화한다.
• 학습된 조건부 분포 $ \hat{p}(x'\mid x_S) $ 에서 몬테카를로 샘플링을 수행하여 이면 셰플리 값을 효율적으로 계산한다.
• 설명의 정확도를 직접 최적화할 수 있도록, 엔드 투 엔드로 훈련 가능한 미분 가능 아키텍처를 활용한다.
• MNIST 및 약물 소비 데이터셋에서 두 방법을 검증하여, 이면 외 기준 및 실측 기준 진실값과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 이면 외 셰플리 값의 주요 한계는 무엇인가? 특히 설명의 정확성, 민감한 속성에 대한 민감도, 고차원 데이터에서의 해석 가능성 측면에서.
• RQ2 특징 독립성을 가정하지 않고도 일반적인 고차원 데이터셋에서 이면 셰플리 값을 효율적이고 정확하게 계산할 수 있는가?
• RQ3 생성 모델링과 직접 값 함수 학습 간의 정확도, 안정성, 계산 효율성 측면에서의 성능 비교는 어떻게 되는가?
• RQ4 이면 설명은 이면 외 방법에 비해 얼마나 더 뛰어난 해석 가능성과 더 적은 허위 기여도를 제공하는가?
• RQ5 이면 셰플리 값은 암묵적인 민감한 특성에 대한 모델 의존성을 효과적으로 드러내거나 은폐할 수 있으며, 이는 이면 외 방법과 어떻게 비교되는가?

주요 결과

• 이면 외 셰플리 값은 비현실적인 데이터 스플라이싱으로 인해 잘못된 설명을 생성하며, 특히 MNIST와 같은 고차원 데이터에서 뚜렷한 문제가 발생한다.
• 이면 외 방법은 암묵적인 민감한 속성에 대한 모델 의존성을 숨길 수 있어, 규제되는 AI 시스템에서의 공정성과 준수를 해칠 수 있다.
• 이면 설명은 더 집중적이고 해석 가능하며, MNIST 숫자에서 손글씨 선과 같은 핵심 특징이 명확하게 강조된다.
• 지도 학습 방법은 이면 외 스플라이싱에 비해 훨씬 낮은 테스트 세트 MSE(예: 약물 소비 데이터에서 0.0121 ± 0.0001)를 기록하여 더 높은 정확도를 보인다.
• 지도 학습 방법은 더 안정적이고 효율적이며, 동일한 표준 오차를 확보하기 위해 비지도 생성 접근법 대비 약 10배 적은 모델 평가 수가 필요하다.
• 이면 설명은 신뢰할 수 있는 기여도를 확보하기 위해 훨씬 적은 특징(픽셀) 수만을 필요로 하며, 이는 저차원 데이터 다양체와 일치하지만, 이면 외 방법은 큰 연합에 의존한다.