[论文解读] AttViz: Online exploration of self-attention for transparent neural language modeling

Blaž Škrlj, Nika Eržen+4 more|arXiv (Cornell University)|May 12, 2020

Topic Modeling被引用 7

一句话总结

AttViz 是一个在线、交互式的工具包，用于可视化预训练语言模型中的自注意力机制，使研究人员能够实时探索不同标记和注意力头之间的注意力权重。它提供了注意力分布和模型输出概率的直观可视化，揭示了哪些标记影响了预测结果——在基于 BERT 的新闻分类任务中得到验证。

ABSTRACT

Neural language models are becoming the prevailing methodology for the tasks of query answering, text classification, disambiguation, completion and translation. Commonly comprised of hundreds of millions of parameters, these neural network models offer state-of-the-art performance at the cost of interpretability; humans are no longer capable of tracing and understanding how decisions are being made. The attention mechanism, introduced initially for the task of translation, has been successfully adopted for other language-related tasks. We propose AttViz, an online toolkit for exploration of self-attention---real values associated with individual text tokens. We show how existing deep learning pipelines can produce outputs suitable for AttViz, offering novel visualizations of the attention heads and their aggregations with minimal effort, online. We show on examples of news segments how the proposed system can be used to inspect and potentially better understand what a model has learned (or emphasized).

研究动机与目标

• 为解决大型神经网络语言模型的可解释性挑战，尽管这些模型性能优异，但常被视为黑箱。
• 使研究人员和实践者能够实时检查注意力机制如何影响模型预测。
• 提供一个易于访问的在线界面，用于可视化单个标记和注意力头之间的自注意力模式。
• 通过将注意力分布与输出概率空间关联，支持对模型决策的透明分析。
• 通过检测分类任务中显著的标记和潜在偏差，促进对模型行为的理解，例如仇恨言论或新闻主题分类。

提出的方法

• AttViz 从预训练的 Transformer 模型（如 BERT）中提取注意力权重，并将其映射到用户友好的交互式网页界面。
• 将自注意力可视化为输入标记上的热力图，颜色强度表示每个注意力头的注意力强度。
• 系统支持注意力头的动态聚合，使用户能够探索集体注意力模式。
• 将注意力可视化与模型输出概率同步，支持对预测结果和注意力的并排检查。
• 该工具包支持在线探索，无需本地计算或模型微调。
• 它利用现有的深度学习推理流水线，仅需极少集成工作量即可暴露注意力输出以供可视化。

实验结果

研究问题

• RQ1 如何有效可视化基于 Transformer 的语言模型中的自注意力模式以提升可解释性？
• RQ2 哪些标记在影响模型预测方面最为显著，注意力头如何分配这种相关性？
• RQ3 注意力可视化能否帮助识别模型预测中的虚假相关性或偏差？
• RQ4 在分类新闻片段时，不同注意力头的注意力模式有何差异？
• RQ5 输入序列中的首个标记在多大程度上获得了不成比例的关注，原因是什么？

主要发现

• 诸如 'trillion'、'uk' 和 'total' 等标记在多个注意力头中持续获得较高的自注意力值，表明它们与分类任务密切相关。
• 仅有一小部分注意力头对单个标记激活，表明不同头关注输入的不同方面，包括潜在的关系模式。
• 输入序列中的第一个标记经常被强调，这可能是由于预训练目标优先考虑下一个标记的预测。
• 该系统成功将注意力模式与模型输出概率关联起来，揭示了第二大概率的类别（例如 'politics'）通常与语义合理性一致。
• AttViz 支持对注意力和预测空间的实时交互式探索，增强了可解释性，且无需重新训练模型。
• 该工具包在分析新闻文本分类方面表现出实用性，尤其适用于检测关键术语并评估模型在上下文中的行为。