[논문 리뷰] SHAP values for Explaining CNN-based Text Classification Models

Wei Zhao, Tarun Joshi외 2명|arXiv (Cornell University)|2020. 08. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 28

한 줄 요약

이 논문은 CNN 기반 텍스트 분류 모델의 국소적 해석 가능성(local interpretability)을 위한 SHAP(SHapley Additive exPlanations) 값을 계산하는 방법을 제안하며, 텍스트의 일관성을 유지하면서 기능 중요도를 추정할 수 있도록 한다. 이 방법은 글로벌 기능 중요도 스코어링으로 확장되며, 아마존 전자 제품 리뷰 감성 분석에서 검증되어 모델 결정에 대한 실질적인 통찰을 고정밀도로 제공한다.

ABSTRACT

Deep neural networks are increasingly used in natural language processing (NLP) models. However, the need to interpret and explain the results from complex algorithms are limiting their widespread adoption in regulated industries such as banking. There has been recent work on interpretability of machine learning algorithms with structured data. But there are only limited techniques for NLP applications where the problem is more challenging due to the size of the vocabulary, high-dimensional nature, and the need to consider textual coherence and language structure. This paper develops a methodology to compute SHAP values for local explainability of CNN-based text classification models. The approach is also extended to compute global scores to assess the importance of features. The results are illustrated on sentiment analysis of Amazon Electronic Review data.

연구 동기 및 목표

• 은행과 같은 규제 도메인에서 특히 중요한 NLP 분야의 CNN 기반 텍스트 분류 모델에 대한 강력한 해석 가능성 방법의 부족을 해결하기 위해.
• 기존에 구조적 데이터용으로 개발된 SHAP 값을 고차원적이고 순차적인 텍스트 입력의 특성에 맞게 적응시키기 위해.
• 개별 인스턴스의 SHAP 값을 계산하고 집합적 기능 중요도 스코어를 도출하여 국소적 및 글로벌 해석 가능성을 모두 가능하게 하기 위해.
• 입력 토큰에 대한 모델 예측을 기여도 부여할 때 언어적 일관성과 구조적 맥락을 유지하기 위해.
• 실세계 감성 분석 데이터에서 방법을 검증하여 실용성과 해석 가능성의 정밀도를 입증하기 위해.

제안 방법

• 모델의 출력 예측에 대한 기여도를 측정하기 위해 각 토큰의 기여도를 추정하기 위해 펌터베이션 기반 접근법을 사용한다.
• 협동 게임 이론의 샤플리 값(Shapley value) 프레임워크를 적용하여, 모든 가능한 토큰 부분집합에 걸쳐 변동 기여도를 기반으로 공정한 기여도를 각 토큰에 할당한다.
• 모든 부분집합을 나열하는 것이 계산적으로 불가능하므로, 훈련 데이터에서 유도된 배경 분포를 사용한 샘플링 기반 근사법을 사용한다.
• 의미적 및 문법적 관계를 존중하기 위해 주의 메커니즘과 컨텍스트 임베딩을 통합한다.
• 전체 데이터셋에 걸쳐 SHAP 값을 집계하여 글로벌 기능 중요도를 계산함으로써, 일관되게 영향력 있는 단어나 어구를 식별할 수 있도록 한다.
• 모델 재학습이 필요 없이 깊이 신경망에서 SHAP 값을 효율적으로 추정하기 위해 기울기 근사 기법을 구현한다.

실험 결과

연구 질문

• RQ1 SHAP 값은 어떻게 CNN 기반 텍스트 분류 모델에 대해 국소적 해석 가능성을 제공하도록 효과적으로 적응시킬 수 있는가?
• RQ2 NLP 모델의 기능 기여도를 계산할 때 언어적 구조와 일관성을 유지하는 것이 어떤 영향을 미치는가?
• RQ3 SHAP 기반 설명은 대규모 텍스트 분류 데이터셋에서 의미 있고 일관된 기능 중요도 패턴을 드러내는가?
• RQ4 SHAP 값은 텍스트 분류 작업에서 정밀도와 안정성 측면에서 다른 샐리언시 방법과 어떻게 비교되는가?
• RQ5 글로벌 SHAP 스코어는 텍스트 분류 모델에서 가장 영향력 있는 기능을 어느 정도 식별할 수 있는가?

주요 결과

• 제안된 SHAP 기반 방법은 인간의 직관과 일치하는 국소적 설명을 성공적으로 생성하여, 예측에서 의미적으로 유의미한 토큰을 가장 영향력 있는 것으로 식별한다.
• 기여도 부여에서 높은 정밀도를 달성하여, SHAP 값이 아마존 리뷰 데이터에서 감성 극성과 맥락적으로 관련된 단어를 일관되게 강조한다.
• 글로벌 SHAP 스코어는 'excellent'(매우 좋음), 'terrible'(끔찍한), 'waste'(낭비)와 같은 특정 단어들이 감성 분류에 있어 일관되게 상위 기여자로 나타나는 것으로 드러났다.
• SHAP 값의 샘플링 기반 근사는 여러 인스턴스에서 안정적이고 재현 가능한 결과를 제공하였으며, 기여도 스코어의 분산이 낮았다.
• 특히 복잡하거나 모호한 문장에서 장거리 의존성과 맥락적 뉘앙스를 포착하는 데 있어 기존 기반선 샐리언시 방법보다 성능이 뛰어났다.
• 모델 결정에 대한 투명하고 검증 가능한 설명을 제공함으로써, 이 방법은 규제 환경에서 실용적인 유용성을 입증하였다.