[논문 리뷰] Using Shapley Values and Variational Autoencoders to Explain Predictive Models with Dependent Mixed Features

Lars Henry Berge Olsen, Ingrid K. Glad외 2명|arXiv (Cornell University)|2021. 11. 26.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 복잡한 혼합형 연속형 및 범주형 특징 간의 종속성을 정확하게 모델링하기 위해 임의의 조건부 조건부를 갖는 변분 오토인코더(VAEAC)를 사용하는 새로운 방법을 제안한다. 이는 해시리 값 추정의 해석 가능한 기계학습에서 중요한 과제이다. VAEAC를 통해 고차원 특징 간 종속성을 포착함으로써, 저차원 및 고차원 설정 모두에서 최신 기술보다 뚜렷하게 뛰어난 성능을 발휘하며, 특히 고차원에서 비균일 마스킹을 적용할 경우에 더욱 두각을 나타낸다.

ABSTRACT

Shapley values are today extensively used as a model-agnostic explanation framework to explain complex predictive machine learning models. Shapley values have desirable theoretical properties and a sound mathematical foundation in the field of cooperative game theory. Precise Shapley value estimates for dependent data rely on accurate modeling of the dependencies between all feature combinations. In this paper, we use a variational autoencoder with arbitrary conditioning (VAEAC) to model all feature dependencies simultaneously. We demonstrate through comprehensive simulation studies that our VAEAC approach to Shapley value estimation outperforms the state-of-the-art methods for a wide range of settings for both continuous and mixed dependent features. For high-dimensional settings, our VAEAC approach with a non-uniform masking scheme significantly outperforms competing methods. Finally, we apply our VAEAC approach to estimate Shapley value explanations for the Abalone data set from the UCI Machine Learning Repository.

연구 동기 및 목표

• 의료, 금융 등 고위험 응용 분야에서 연속형 및 범주형 특징이 혼합되어 있으며 상호 종속성이 있는 예측 모델을 설명하는 데 있어 핵심 과제를 해결한다.
• 기존 Shapley 값 추정 방법이 특징 간 독립성을 가정하거나 단순한 종속성 모델을 사용한다는 한계를 극복한다.
• 복잡한 고차원 특징 종속성을 정확한 局소 모델 설명을 위해 모델링할 수 있는 확장성 있고 미분 가능한 프레임워크를 개발한다.
• 실제 응용에서 특징 종속성이 흔한 상황에서 표준 접근 방식이 忽시하는 바를 감안해 Shapley 값 설명의 정확성과 신뢰도를 향상시킨다.
• 다양한 시뮬레이션 설정과 실제 아바론 데이터셋을 통해 제안 방법의 강인성과 우수성을 입증한다.

제안 방법

• 모든 특징 조합의 공동 분포를 포착하기 위해 임의의 조건부를 갖는 변분 오토인코더(VAEAC)를 제안하여 혼합형 데이터에서의 복잡한 종속성을 모델링한다.
• Shapley 값 계산에 필요한 조건부 확률을 추정하기 위해 VAEAC의 잠재 공간에서 몬테카를로 샘플링을 사용함으로써 고차원 적분의 효율적 근사화를 가능하게 한다.
• 고차원 설정에서 정보가 많은 특징 조합에 집중하기 위해 비균일 마스킹 전략을 도입함으로써 추정의 효율성과 정확도를 향상시킨다.
• 각 Shapley 값 항을 위한 현실적인 반대 조건 특징 조합을 생성하기 위해 특정 특징 값에 따라 VAEAC를 조건화함으로써 데이터 종속성의 충실한 표현을 확보한다.
• VAEAC의 생성 능력을 활용해 연속형 및 범주형 특징을 동시에 모델링함으로써 별도의 모델링 파ip라인을 피한다.
• 변분 하한 목적함수를 사용해 VAEAC를 훈련함으로써 조건부 밀도 추정의 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 특징이 종속적이며 혼합형일 경우, 예측 모델의 Shapley 값을 어떻게 정확하게 추정할 수 있는가?
• RQ2 VAEAC와 같은 딥 생성 모델이 특징 종속성이 존재하는 상황에서 기존 통계적 종속성 모델(예: 코풀라, 빈 코풀라)보다 Shapley 값 추정에서 뛰어나게 성능을 낼 수 있는가?
• RQ3 비균일 마스킹 전략이 고차원 특징 공간에서 Shapley 값 추정 정확도에 미치는 영향은 어떠한가?
• RQ4 다양한 시뮬레이션 설정에서 VAEAC 기반 접근법이 최신 기술 대비 평균 절대 오차와 계산 효율성 측면에서 어떻게 비교되는가?
• RQ5 VAEAC 프레임워크는 아바론 데이터셋처럼 복잡한 특징 종속성이 존재하는 실제 데이터셋에 대해 신뢰할 수 있고 해석 가능한 설명을 제공할 수 있는가?

주요 결과

• VAEAC 접근법은 종속적인 연속형 및 혼합형 특징을 포함한 다양한 시뮬레이션 설정에서 Shapley 값 추정의 평균 절대 오차 측면에서 최신 기술을 뚜렷이 능가한다.
• 고차원 설정(M=10)에서 비균일 마스킹을 적용한 VAEAC는 균일 마스킹 및 경쟁 기법보다 추정 오차를 더 효과적으로 감소시켜 우수한 확장성과 성능을 입증한다.
• K=250개의 몬테카를로 샘플을 사용할 경우 정밀도와 계산 비용의 균형을 잘 유지하며 안정적이고 정확한 Shapley 값 추정을 달성한다.
• 훈련 데이터의 구조와 일치하는 조건부 분포를 모델링할 수 있음으로써, VAEAC 모델이 혼합형 데이터에서 비선형적이고 복잡한 종속성을 효과적으로 포착하고 있음을 입증한다.
• 아바론 데이터셋에서 VAEAC 기반 설명 프레임워크는 독립성 기반 또는 단순 종속성 모델보다 더 신뢰할 수 있고 일관된 특징 중요도 순위를 제공한다.
• VAEAC 프레임워크는 다양한 수준의 특징 종속성에 강인하며, 강한 상관관계가 존재하는 조건에서도 높은 추정 정확도를 유지한다.