[论文解读] Visualizing textual models with in-text and word-as-pixel highlighting

Abram Handler, Su Lin Blodgett+1 more|arXiv (Cornell University)|Jun 20, 2016

Natural Language Processing Techniques参考文献 17被引用 4

一句话总结

本文提出了两种可视化技术——内文标注与词转像素渲染，利用颜色揭示概率文本模型中标记级别的后验成员关系。通过将这些方法应用于LDA主题模型和语言分类器，作者展示了模型决策可解释性的提升，特别是在诊断方言Twitter文本中的误分类以及识别历史政治演说中的主题一致性方面。

ABSTRACT

We explore two techniques which use color to make sense of statistical text models. One method uses in-text annotations to illustrate a model's view of particular tokens in particular documents. Another uses a high-level, "words-as-pixels" graphic to display an entire corpus. Together, these methods offer both zoomed-in and zoomed-out perspectives into a model's understanding of text. We show how these interconnected methods help diagnose a classifier's poor performance on Twitter slang, and make sense of a topic model on historical political texts.

研究动机与目标

• 通过在原始文本上直接可视化标记级别的模型推理，提升概率文本模型的可解释性。
• 诊断自然语言处理系统中的模型错误，特别是在低资源或领域偏移设置（如方言社交媒体）下的错误。
• 为模型行为提供放大（内文）和缩小（词转像素）两种视角，适用于大规模文本语料。
• 评估可视化诊断在理解真实世界数据中主题模型一致性与分类器误判方面的有效性。

提出的方法

• 使用内文标注显示来自LDA等主题模型的标记级别后验概率 $P(z_t|w_t)$，其中颜色编码表示主题成员关系的可能性。
• 应用词转像素可视化，将每个词渲染为彩色像素，颜色强度反映模型推断的标记级别置信度或贡献度。
• 对于分类模型，计算标记级别的对数似然比权重 $\psi_t = \log \frac{P(w_t|y=a)}{P(w_t|y=b)}$，以量化每个标记对类别预测的影响。
• 将这些 $\psi_t$ 值以字符或标记为单位的颜色形式可视化于原始文本中，通过颜色编码显著性实现错误分析。
• 使用Gibbs采样（100次迭代）估计LDA主题模型在总统国情咨文语料上的稳定后验分布 $P(z_t|w_t)$。
• 将该方法应用于主题建模（1946–2007年演说的LDA）和文本分类（基于美国的非裔美国人英语Twitter文本的langid.py）

实验结果

研究问题

• RQ1 如何有效可视化标记级别的模型推理，以提升文本模型的可解释性？
• RQ2 内文与词转像素可视化在诊断短篇、方言社交媒体文本中的语言识别错误方面，能起到多大作用？
• RQ3 可视化能否揭示主题模型中的结构模式，如主题一致性与文档级主题转换？
• RQ4 当在时间维度上可视化时，模型假设（如每段的主题变化）与后验推理是否一致？
• RQ5 罕见或非标准n-gram在语言识别模型中导致误分类方面起什么作用？

主要发现

• 词转像素可视化揭示了美国国情咨文演说中的连贯主题分组，例如1940至1950年代持续的橙色条带对应于预算讨论。
• 内文高亮成功诊断出langid.py中的误分类，显示'lmfao'和'na'等术语因与葡萄牙语和爱尔兰盖尔语的n-gram相似性，导致错误的非英语预测。
• 模型在短文本中的稀疏性——由针对长文档优化的特征选择导致——在视觉上清晰可见，是短篇非正式信息识别准确率低的原因之一。
• $\psi_t$ 值的可视化表明，'wanna'和'finna'等非标准英语特征因与非英语模式的形态相似性而被错误分类。
• 该方法通过视觉确认段落边界处的主题转换，实现了对模型假设（如文本段落间主题变化）的定性验证。
• 在 http://slanglab.cs.umass.edu/topic-animator/ 的网络演示展示了交互式探索功能，用户可点击词转像素区域以查看对应文本段落。