[论文解读] AllenNLP Interpret: A Framework for Explaining Predictions of NLP Models

Eric Wallace, Jens Tuyls+4 more|arXiv (Cornell University)|Sep 19, 2019

Explainable Artificial Intelligence (XAI)参考文献 23被引用 14

一句话总结

AllenNLP Interpret 是一个开源、可扩展的框架，通过基于梯度的显著性图和对抗性攻击，实现对 NLP 模型的实例级解释。它提供与模型无关的 API、可重用的可视化组件，并与 AllenNLP 无缝集成，使从业者和研究人员能够以极少的代码更改，对包括 BERT 和 BiDAF 在内的多种模型在命名实体识别和掩码语言建模等任务中进行解释。

ABSTRACT

Neural NLP models are increasingly accurate but are imperfect and opaque---they break in counterintuitive ways and leave end users puzzled at their behavior. Model interpretation methods ameliorate this opacity by providing explanations for specific model predictions. Unfortunately, existing interpretation codebases make it difficult to apply these methods to new models and tasks, which hinders adoption for practitioners and burdens interpretability researchers. We introduce AllenNLP Interpret, a flexible framework for interpreting NLP models. The toolkit provides interpretation primitives (e.g., input gradients) for any AllenNLP model and task, a suite of built-in interpretation methods, and a library of front-end visualization components. We demonstrate the toolkit's flexibility and utility by implementing live demos for five interpretation methods (e.g., saliency maps and adversarial attacks) on a variety of models and tasks (e.g., masked language modeling using BERT and reading comprehension using BiDAF). These demos, alongside our code and tutorials, are available at https://allennlp.org/interpret .

研究动机与目标

• 解决在多样化架构和任务中缺乏灵活、可重用的 NLP 模型解释工具的问题。
• 降低从业者和可解释性研究人员在应用或扩展解释方法时的实现负担。
• 支持对 BERT 和 ELMo 等最先进的上下文嵌入模型的解释，这些模型缺乏传统的嵌入矩阵。
• 提供交互式、可重用的可视化，以提高模型透明度和用户信任。
• 同时支持实时演示和批量处理，以实现可扩展的解释工作流。

提出的方法

• 提供与模型和任务无关的 API 以计算输入梯度，从而在任何 AllenNLP 模型上实现基于梯度的解释。
• 实现三种显著性方法：原始梯度（Vanilla Gradient）、积分梯度（Integrated Gradients）和平滑梯度（SmoothGrad），每种方法均在损失计算中使用模型自身的预测结果。
• 提出一种与上下文无关的嵌入矩阵，该矩阵源自 ELMo 和 BERT 等模型的最后一个非上下文化层，以支持对抗性攻击中的离散标记搜索。
• 使用 AllenNLP 演示 Web 框架，结合可重用的 HTML/JavaScript 组件，实现对显著性和对抗性扰动的交互式可视化。
• 通过模块化教程和极少的代码更改，支持新模型和解释方法的即插即用式集成。
• 支持在线交互式演示和离线批量处理，用于解释结果。

实验结果

研究问题

• RQ1 如何使解释方法在多样化的 NLP 模型和任务中实现可访问性和可重用性？
• RQ2 在将基于梯度和对抗性的解释方法应用于 BERT 等上下文依赖模型时，会遇到哪些挑战？
• RQ3 统一框架如何降低在实际部署解释工具时的工程负担？
• RQ4 可重用的前端组件是否能显著简化交互式模型解释工具的部署？
• RQ5 如何将现有解释方法适配到缺乏离散嵌入矩阵的现代上下文嵌入模型上？

主要发现

• AllenNLP Interpret 仅需极少的代码更改，即可使用基于梯度的显著性和对抗性攻击来解释任何 AllenNLP 模型。
• 该框架通过为对抗性攻击中的离散标记搜索构建与上下文无关的嵌入矩阵，成功实现了对 BERT 和 ELMo 等上下文模型的解释。
• 显著性和对抗性样本的交互式可视化仅需一行 HTML 代码即可实现，展示了极高的可重用性和极低的集成开销。
• 实时演示展示了模型偏差，例如 SQuAD 模型依赖词汇重叠，以及决策规则，例如 NER 模型根据 'in downtown' 预测 'Location'。
• 该工具包能够诊断模型错误，例如情感分类模型被三元组 'tony hawk style' 所误导。
• 该框架同时支持实时交互式解释和离线批量处理，显著提升了其在研究和部署场景中的实用性。