[논문 리뷰] Looking Deeper into Deep Learning Model: Attribution-based Explanations of TextCNN

Wenting Xiong, Iftitahu Ni’mah외 4명|arXiv (Cornell University)|2018. 11. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 9인용 수 7

한 줄 요약

이 논문은 텍스트 분류를 위한 TextCNN에서 속성 기반의 편향 프레임워크를 제안한다—특성 기반의 편향 평가 방법을 통해 LRP(Layer-wise Relevance Propagation)와 샐리언시 맵을 평가하며, 전통적인 단어 삭제 방식을 대체하여 중간 합성곱 레이어의 임bedded 특징을 제거한다. 결과적으로 LRP는 샐리언시 맵보다 관련 특징을 더 잘 식별하며, 속성 차이를 통해 모델 예측의 특정 클래스에 대한 편향을 효과적으로 드러낸다.

ABSTRACT

Layer-wise Relevance Propagation (LRP) and saliency maps have been recently used to explain the predictions of Deep Learning models, specifically in the domain of text classification. Given different attribution-based explanations to highlight relevant words for a predicted class label, experiments based on word deleting perturbation is a common evaluation method. This word removal approach, however, disregards any linguistic dependencies that may exist between words or phrases in a sentence, which could semantically guide a classifier to a particular prediction. In this paper, we present a feature-based evaluation framework for comparing the two attribution methods on customer reviews (public data sets) and Customer Due Diligence (CDD) extracted reports (corporate data set). Instead of removing words based on the relevance score, we investigate perturbations based on embedded features removal from intermediate layers of Convolutional Neural Networks. Our experimental study is carried out on embedded-word, embedded-document, and embedded-ngrams explanations. Using the proposed framework, we provide a visualization tool to assist analysts in reasoning toward the model's final prediction.

연구 동기 및 목표

• 텍스트 분류에서 언어적 의존성을 忽시하는 전통적인 단어 삭제 편향 방법의 한계를 해결하기 위해.
• 임베디드 단어, 임베디드 문서, 임베디드 n-gram 특징을 사용한 CNN에서 속성 기반 평가 프레임워크를 개발하기 위해.
• 공개 및 기업 텍스트 데이터셋에서 TextCNN 예측을 설명하는 데 있어 LRP와 샐리언시 맵의 품질을 비교하기 위해.
• 분석가들이 모델 예측을 해석하고 영향력 있는 특징을 식별하는 데 지원하는 상호작용형 시각화 도구를 구축하기 위해.
• 진짜 클래스와 다른 클래스 간의 속성 차이가 특정 결과로 이어지는 모델 예측을 이끌 수 있는지 조사하기 위해.

제안 방법

• TextCNN의 중간 합성곱 레이어에서 고/저 관련성 특징을 제거함으로써 단어 삭제 편향을 대체한다.
• 세 가지 유형의 특징 수준 속성 적용: 합성곱 필터에서 추출한 임베디드 단어, 임베디드 문서, 임베디드 n-gram 특징.
• LRP와 샐리언시 맵을 사용해 다양한 레이어에서 속성 점수를 계산하며, 필터 수준의 관련성에 집중한다.
• 관련성 순으로 정렬된 특징을 제거한 후 모델 정확도를 평가한다(상위, 하위, 또는 클래스 간 속성 차이 기반).
• 개별 단어 및 n-gram에 대해 LRP 속성과 클래스 간 속성 차이를 표시하는 상호작용형 시각화 도구를 구축한다.
• 특징을 점차적으로 제거함으로써 영향을 측정하기 위해 아블레이션 연구를 수행한다(예: 1, 3, 5, 7개 제거).

실험 결과

연구 질문

• RQ1 단어 삭제 대신 특성 기반의 편향을 사용할 때, LRP와 샐리언시 맵은 TextCNN 예측의 관련 특징을 어떻게 비교적으로 식별하는가?
• RQ2 진짜 클래스와 다른 클래스 간의 속성 차이를 기반으로 특징을 제거하면, 모델 예측이 특정 잘못된 클래스로 이어지는가?
• RQ3 제안된 특성 기반 평가 프레임워크는 단어 삭제 방법보다 속성 기반 방법의 품질을 더 효과적으로 측정할 수 있는가?
• RQ4 비의존성 특징을 제거할 때, LRP와 샐리언시 맵은 무작위 또는 관련성 기반 제거 대비 모델 정확도 유지 정도가 어느 정도인가?
• RQ5 이진 및 다중 클래스 텍스트 분류 작업에서 클래스 간 속성 차이가 오분류 패턴에 어떤 영향을 미치는가?

주요 결과

• 가장 관련성이 높은 특징을 제거할 때, LRP 기반 특징 제거가 샐리언시 맵보다 모델 정확도를 더 크게 떨어뜨려 LRP가 더 중요한 특징을 식별함을 시사한다.
• Yelp 리뷰 데이터셋에서 상위 5개의 관련 n-gram 특징을 제거했을 때, LRP는 99.2%의 정확도를 기록했고, 샐리언시 맵은 81.1%로, LRP의 뛰어난 관련성 탐지 능력을 보여준다.
• CDD 기업 데이터셋에서 상위 5개의 관련 특징을 LRP로 제거했을 때 정확도는 97.81%로 떨어졌고, 샐리언시 맵은 98.90%로 떨어져, LRP가 관련 특징에 더 민감함을 추가로 확인한다.
• 진짜 클래스와 클래스 2 간의 속성 차이를 사용할 때, LRP와 샐리언시 맵 모두 예측을 특정 클래스로 이끌었으며, 특히 클래스 2와 3의 오분류 비율이 유의미하게 높아, 모델 편향 탐지 능력을 입증한다.
• 시각화 도구는 예측에 기여하는 핵심 단어와 n-gram을 성공적으로 강조하여 분석가가 모델의 추론 과정을 추적하고 잠재적 혼동 요인을 탐지하는 데 기여했다.
• 다중 클래스 미국 소비자 불만 데이터셋에서 진짜 클래스의 LRP 점수 상위 15개 필터를 제거했을 때 오분류 수는 7건에 그쳤지만, LRP 점수의 클래스 2 또는 3와의 차이 기반으로 같은 필터를 제거했을 땐 300건 이상의 오분류가 발생해, 속성 차이를 통한 강력한 예측 유도 능력을 입증한다.