[论文解读] Improving the Interpretability of Neural Sentiment Classifiers via Data Augmentation.

Hanjie Chen, Yangfeng Ji|arXiv (Cornell University)|Sep 10, 2019

Explainable Artificial Intelligence (XAI)参考文献 55被引用 10

一句话总结

本文提出了两种数据增强技术——基于知识的情感词注入和对抗性样本生成，以提升神经网络情感分类器的可解释性。通过在训练数据中引入情感感知的扰动，这些方法在基准数据集上显著提升了卷积神经网络（CNN）和循环神经网络（RNN）模型的模型可解释性，经人工与自动评估验证。

ABSTRACT

Sentiment analysis has been widely used by businesses for social media opinion mining, especially in the financial services industry, where customers' feedbacks are critical for companies. Recent progress of neural network models has achieved remarkable performance on sentiment classification, while the lack of classification interpretation may raise the trustworthy and many other issues in practice. In this work, we study the problem of improving the explainability of existing sentiment classifiers. We propose two data augmentation methods that create additional training examples to help improve model explainability: one method with a predefined sentiment word list as external knowledge and the other with adversarial examples. We test the proposed methods on both CNN and RNN classifiers with three benchmark sentiment datasets. The model explainability is assessed by both human evaluators and a simple automatic evaluation measurement. Experiments show the proposed data augmentation methods significantly improve the explainability of both neural classifiers.

研究动机与目标

• 为解决金融和社交媒体应用中高性能神经情感分类器缺乏可解释性的问题。
• 通过提供更清晰的分类决策解释，提升模型的可信度。
• 开发注入情感相关知识或扰动的训练数据增强策略。
• 在不同神经网络架构（CNN 和 RNN）上评估这些方法的有效性。
• 结合人工评估与自动指标，评估可解释性水平。

提出的方法

• 引入预定义的情感词列表作为外部知识，指导生成带有情感增强短语的新训练样本。
• 通过在输入句子中引入保持情感不变但改变表面形式的扰动，生成对抗性样本，从而提升模型的鲁棒性与可解释性。
• 在三个基准情感数据集上，将两种增强方法应用于训练过程，微调 CNN 和 RNN 模型。
• 结合人工评估与自动指标，衡量模型可解释性提升的程度。
• 确保增强后的样本在语义和情感一致性方面保持稳定，同时提升训练数据的多样性。
• 使用增强数据训练模型，并与未使用增强的基线模型进行可解释性表现对比。

实验结果

研究问题

• RQ1 基于知识的数据增强是否能提升神经情感分类器的可解释性？
• RQ2 对抗性样本在情感分类中在多大程度上提升了模型的可解释性？
• RQ3 这些增强方法在不同神经网络架构（如 CNN 和 RNN）上的表现如何？
• RQ4 两种方法结合使用是否比单独使用任一方法带来更好的可解释性？
• RQ5 自动评估指标能否可靠地反映人工对模型可解释性的判断？

主要发现

• 所提出的两种数据增强方法显著提升了 CNN 和 RNN 情感分类器的可解释性。
• 人工评估者认为，使用增强数据训练的模型比基线模型更具可解释性。
• 自动评估指标的结果与人工判断保持一致，显示出显著提升。
• 基于知识的增强与对抗性增强方法均有效提升了模型的透明度。
• 所有三种基准情感数据集上的实验结果均显示出可解释性的提升。
• 两种方法结合使用带来的可解释性增益优于单独使用任一方法。