[论文解读] Evaluating neural network explanation methods using hybrid documents and morphological agreement

Nina Poerner, Benjamin Roth+1 more|arXiv (Cornell University)|Jan 19, 2018

Explainable Artificial Intelligence (XAI)参考文献 35被引用 8

一句话总结

本文提出了两种新颖的、无需标注的评估范式——混合文档与形态句法一致，用于评估自然语言处理模型的解释方法。提出了一种受LIME启发的LIMSSE方法，适用于对词序敏感的模型，并通过实证研究证明，LRP、DeepLIFT和LIMSSE是在卷积神经网络（CNNs）、循环神经网络（RNNs）及准RNN（Quasi-RNNs）中表现最佳的解释方法。

ABSTRACT

The behavior of deep neural networks (DNNs) is hard to understand. This makes it necessary to explore post hoc explanation methods. We conduct the first comprehensive evaluation of explanation methods for NLP. To this end, we design two novel evaluation paradigms that cover two important classes of NLP problems: small context and large context problems. Both paradigms require no manual annotation and are therefore broadly applicable. We also introduce LIMSSE, an explanation method inspired by LIME that is designed for NLP. We show empirically that LIMSSE, LRP and DeepLIFT are the most effective explanation methods and recommend them for explaining DNNs in NLP.

研究动机与目标

• 为解决自然语言处理中事后解释技术缺乏可靠且可扩展的评估方法的问题。
• 开发不依赖昂贵人工标注的评估范式，以实现对自然语言处理任务的广泛适用性。
• 评估现有解释方法（如LIME、LRP、DeepLIFT）在卷积神经网络（CNNs）、循环神经网络（RNNs）及准RNN（Quasi-RNNs）等多样化自然语言处理架构上的有效性。
• 提出并验证LIMSSE（局部重要性模型，含替换与洗牌机制），一种专为对词序敏感的模型（如RNNs和CNNs）设计的新解释方法。
• 为实际自然语言处理部署提供实证指导，特别是在GDPR等监管要求下选择最可靠解释方法。

提出的方法

• 设计混合文档范式：将不同文档的片段随机拼接，生成混合输入，同时保留原始文档的类别标签。
• 设计形态句法一致范式：使用仅在主语-动词一致上不同的句子对（如“the children [verb]”与“the child [verb]”）来评估解释方法在长距离依赖任务中的表现。
• 提出LIMSSE（局部重要性模型，含替换与洗牌机制），一种受LIME启发的方法，通过掩码和替换词语生成扰动输入，以估计特征重要性。
• 在两种范式上对任务模型（CNN、GRU、LSTM等）应用解释方法（LIMSSE、LRP、DeepLIFT等），生成输入词元的相关性分数。
• 利用模型在混合文档与一致任务上的预测结果作为真实标签，验证解释方法的保真度：正确的解释方法应对正确输入片段分配高相关性。
• 使用相关性与真实相关性之间的相关性、扰动间的一致性等指标评估解释质量。

实验结果

研究问题

• RQ1 现有解释方法（如LRP、DeepLIFT、LIME）在小上下文任务中解释自然语言处理模型预测的有效性如何？
• RQ2 解释方法能否可靠地识别出涉及长距离依赖（如主语-动词一致）的大上下文任务中的正确语言线索？
• RQ3 在混合文档与形态句法一致任务中，LIMSSE相较于其他解释方法在准确性和一致性方面表现如何？
• RQ4 人工标注的相关性基准与模型内部注意力模式在多大程度上一致？为何这些基准可能具有误导性？
• RQ5 在多种自然语言处理架构（CNNs、RNNs、Quasi-RNNs）和任务类型中，哪种解释方法最具鲁棒性和可靠性？

主要发现

• 混合文档范式成功实现了无需人工标注的小上下文任务解释方法评估，支持大规模评估。
• 形态句法一致范式为涉及主语-动词一致的长上下文自然语言处理任务提供了可靠且自动化的基准。
• 在混合文档评估中，LIMSSE在识别混合文档输入中的相关片段方面优于其他方法。
• LRP与DeepLIFT在两种评估范式中均表现出最高的一致性，显示出在多样化自然语言处理架构中的稳健性能。
• 基于LIME的方法（包括LIMSSE）在对词序敏感的模型（如RNNs与CNNs）上表现优异，优于未为此类架构设计的方法。
• 人工标注的相关性基准可能无法反映模型行为，例如模型可能关注人类未标记的罕见词（如‘Kolstad’），凸显了基于模型内部机制评估的必要性。