[논문 리뷰] Improving the Explainability of Neural Sentiment Classifiers via Data Augmentation

Hanjie Chen, Yangfeng Ji|arXiv (Cornell University)|2019. 09. 10.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 예측 성능을 희생시키지 않은 채 신경망 감성 분류기의 해석 가능성(해석 가능성)을 향상시키기 위해 사전 정의된 감성 어휘 목록과 적대적 예제를 사용하는 두 가지 데이터 증강 기법을 제안한다. 실험 결과, LIME가 생성한 설명의 해석 가능성은 벤치마크 데이터셋에서 CNN 및 RNN 모델 전반에 걸쳐 두 방법 모두 유의미하게 향상됨을 보여주며, 인간 평가 및 자동 평가 모두에서 이를 검증함으로써 입증됨.

ABSTRACT

Sentiment analysis has been widely used by businesses for social media opinion mining, especially in the financial services industry, where customers' feedbacks are critical for companies. Recent progress of neural network models has achieved remarkable performance on sentiment classification, while the lack of classification interpretation may raise the trustworthy and many other issues in practice. In this work, we study the problem of improving the explainability of existing sentiment classifiers. We propose two data augmentation methods that create additional training examples to help improve model explainability: one method with a predefined sentiment word list as external knowledge and the other with adversarial examples. We test the proposed methods on both CNN and RNN classifiers with three benchmark sentiment datasets. The model explainability is assessed by both human evaluators and a simple automatic evaluation measurement. Experiments show the proposed data augmentation methods significantly improve the explainability of both neural classifiers.

연구 동기 및 목표

• 금융과 같은 분야에서 신뢰도 및 실용적 구현을 저해하는 신경망 감성 분류기의 해석 가능성 부족 문제를 해결하기 위해.
• LIME와 같은 모델이 생성하는 국소적 설명(예: 중요 키워드)의 해석 가능성 향상을 위해.
• 데이터 증강이 성능 향상 외에도 모델의 해석 가능성 향상에 활용될 수 있는지 탐색하기 위해.
• 인간 평가 및 자동 일관성 지표를 통한 효과 검증을 위해.

제안 방법

• 외부 지식을 활용한 데이터 증강(Da-Ek): 각 훈련 문장에서 SentiWordNet 감성 어휘 목록에 포함된 단어를 제거하여 극성 중립적인 증강 예제를 생성함.
• 감성은 유지하되 단어의 중요도를 변화시키는 변형 예제를 생성함으로써 감성 유지 및 해석 가능성 향상을 도모하는 적대적 데이터 증강 기법 도입.
• 원본 데이터와 증강 데이터를 결합하여 훈련함으로써, 모델이 더 해석 가능한 감성 관련 특징에 의존하도록 유도함.
• LIME를 사용해 국소적 설명을 생성하고, 코사인 유사도 기반 일관성 점수를 계산하여 설명 품질을 자동 평가함.
• 인간 평가를 통해 생성된 설명의 해석 가능성 수준을 평가하며, 증강 이전 및 이후의 모델 출력을 비교함.
• 자동 평가와 인간 평가를 통합하여, 향상된 일관성 점수가 인간이 인식하는 해석 가능성과 상관이 있음을 검증함.

실험 결과

연구 질문

• RQ1 데이터 증강 기법이 예측 성능를 넘어서 신경망 감성 분류기의 해석 가능성 향상에 기여할 수 있는가?
• RQ2 데이터 증강 과정에서 감성 어휘 목록을 외부 지식으로 통합할 경우 더 해석 가능한 모델 설명을 도출할 수 있는가?
• RQ3 적대적 예제를 활용해 모델의 강건성과 설명의 해석 가능성 향상을 동시에 달성할 수 있는가?
• RQ4 자동 일관성 점수와 인간 평가의 설명 품질 간 상관관계가 존재하는가?
• RQ5 제안된 방법들이 분류 정확도를 떨어뜨리지 않고도 해석 가능성 향상을 이룰 수 있는가?

주요 결과

• Da-Ek 및 적대적 증강을 적용한 모델이 훈련된 경우, 인간 평가를 통해 CNN 및 RNN 감성 분류기의 해석 가능성 향상이 유의미하게 이루어짐.
• Da-Ek 및 적대적 증강을 적용한 모델이 생성한 설명은 기준 모델 대비 일관성과 해석 가능성 측면에서 높게 평가됨.
• 자동 일관성 점수는 인간 평가 점수와 양의 상관관계를 보이며, 이는 해석 가능성의 대체 지표로 사용될 수 있음을 검증함.
• 증강 데이터로 훈련된 모델은 'brisk', 'treasure', 'familiar'과 같은 단어를 긍정적 지표로 명확히 강조하는 설명을 생성함.
• 다양한 데이터셋 및 모델 아키텍처 전반에서 해석 가능성 향상 효과가 일관되게 나타나 일반화 가능성 확인됨.
• 예측 정확도에 유의미한 감소가 관찰되지 않아, 성능 희생 없이도 해석 가능성 향상이 가능함을 확인함.