[논문 리뷰] Improving the Interpretability of Neural Sentiment Classifiers via Data Augmentation.

Hanjie Chen, Yangfeng Ji|arXiv (Cornell University)|2019. 09. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 55인용 수 10

한 줄 요약

이 논문은 신경망 감성 분류기의 해석 가능성 향상을 위해 지식 기반 감성 단어 삽입 및 적대적 예제 생성이라는 두 가지 데이터 증강 기법을 제안한다. 감성에 민감한 변형을 포함한 훈련 데이터를 풍부하게 함으로써, 인간 평가 및 자동 평가를 통해 검증된 바에 따르면, 벤치마크 데이터셋에서 CNN 및 RNN 모델 전반에 걸쳐 모델의 설명 가능성은 크게 향상된다.

ABSTRACT

Sentiment analysis has been widely used by businesses for social media opinion mining, especially in the financial services industry, where customers' feedbacks are critical for companies. Recent progress of neural network models has achieved remarkable performance on sentiment classification, while the lack of classification interpretation may raise the trustworthy and many other issues in practice. In this work, we study the problem of improving the explainability of existing sentiment classifiers. We propose two data augmentation methods that create additional training examples to help improve model explainability: one method with a predefined sentiment word list as external knowledge and the other with adversarial examples. We test the proposed methods on both CNN and RNN classifiers with three benchmark sentiment datasets. The model explainability is assessed by both human evaluators and a simple automatic evaluation measurement. Experiments show the proposed data augmentation methods significantly improve the explainability of both neural classifiers.

연구 동기 및 목표

• 금융 및 소셜 미디어 응용 분야에서 사용되는 고성능 신경망 감성 분류기의 해석 가능성 부족 문제를 해결하기 위해.
• 분류 결정의 명확한 설명을 가능하게 하여 모델 신뢰도를 향상시키기 위해.
• 훈련 데이터에 감성 관련 지식이나 변형을 삽입하는 데이터 증강 전략을 개발하기 위해.
• 다양한 신경망 아키텍처(CNN 및 RNN)에 걸쳐 이러한 방법의 효과성을 평가하기 위해.
• 인간 평가 및 자동 메트릭을 모두 활용하여 해석 가능성 수준을 평가하기 위해.

제안 방법

• 감성에 영향을 미치는 문장을 생성할 수 있도록 외부 지식으로서 사전 정의된 감성 단어 목록을 도입한다.
• 감성은 유지하면서 표면 형태를 변경하는 방식으로 입력 문장을 변형하여 적대적 예제를 생성함으로써 모델의 강건성과 해석 가능성 향상.
• 세 가지 벤치마크 감성 데이터셋에서 CNN 및 RNN 모델을 훈련하는 동안 두 증강 방법을 모두 적용한다.
• 모델의 해석 가능성 향상 수준을 측정하기 위해 인간 평가와 자동 메트릭의 조합을 사용한다.
• 증강된 예제가 의미적 및 감성 일관성을 유지하면서도 훈련 데이터의 다양성을 증가시키도록 보장한다.
• 증강된 데이터로 모델를 훈련하고, 증강 없이 훈련된 베이스라인 모델과의 해석 가능성 성능을 비교한다.

실험 결과

연구 질문

• RQ1 지식 기반 데이터 증강이 신경망 감성 분류기의 해석 가능성 향상에 기여하는가?
• RQ2 적대적 예제는 감성 분류에서 모델의 해석 가능성 향상에 어느 정도 기여하는가?
• RQ3 이러한 증강 방법은 CNN 및 RNN과 같은 다양한 신경망 아키텍처에서 어떻게 성능을 발휘하는가?
• RQ4 두 방법을 병합하면 각각의 방법을 별도로 사용할 때보다 더 뛰어난 해석 가능성 향상을 이끌 수 있는가?
• RQ5 자동 평가 메트릭은 인간의 해석 가능성 평가 판단을 신뢰성 있게 반영할 수 있는가?

주요 결과

• 제안된 데이터 증강 기법은 CNN 및 RNN 감성 분류기의 해석 가능성 향상에 상당한 기여를 한다.
• 인간 평가자들은 증강된 데이터로 훈련된 모델이 베이스라인 모델보다 더 해석 가능성이 높다고 평가했다.
• 자동 평가 메트릭은 인간 평가 결과와 일관된 개선을 보였다.
• 지식 기반 및 적대적 증강 기법 모두 모델의 투명성 향상에 기여하였다.
• 실험에서 사용된 세 가지 벤치마크 감성 데이터셋 전반에서 개선 효과가 관찰되었다.
• 두 방법을 병합한 경우 각각의 방법을 별도로 적용한 것보다 더 강력한 해석 가능성 향상 효과를 보였다.