[论文解读] Discovery of Natural Language Concepts in Individual Units of CNNs

Seil Na, Yo Joong Choe+2 more|arXiv (Cornell University)|Feb 18, 2019

Topic Modeling参考文献 36被引用 5

一句话总结

本文提出一种概念对齐方法，用于发现自然语言处理（NLP）用深度卷积神经网络（CNN）中各个单元检测的是哪些词素、词和短语。通过测量在复制文本上的单元激活情况，该方法揭示了CNN单元对可解释的语言概念产生选择性响应——表明NLP模型的中间表征在无额外监督的情况下也编码了有意义的语言单元，且概念频率、重要性与单元激活之间具有高度相关性。

ABSTRACT

Although deep convolutional networks have achieved improved performance in many natural language tasks, they have been treated as black boxes because they are difficult to interpret. Especially, little is known about how they represent language in their intermediate layers. In an attempt to understand the representations of deep convolutional networks trained on language tasks, we show that individual units are selectively responsive to specific morphemes, words, and phrases, rather than responding to arbitrary and uninterpretable patterns. In order to quantitatively analyze such an intriguing phenomenon, we propose a concept alignment method based on how units respond to the replicated text. We conduct analyses with different architectures on multiple datasets for classification and translation tasks and provide new insights into how deep models understand natural language.

研究动机与目标

• 理解深度卷积网络如何在其中间层表征自然语言，以解决NLP模型可解释性不足的问题。
• 研究NLP任务中CNN的各个单元是否对特定语言概念产生选择性响应，而非对任意模式产生响应。
• 开发一种系统性方法，识别网络中每个单元编码的自然语言概念（词素、词、短语）。
• 分析这些概念表征在不同网络深度、架构、任务类型和数据分布下的变化。
• 探索概念出现与训练数据中其频率或任务目标影响程度之间的关系。

提出的方法

• 对于CNN隐藏层中的每个单元，从训练集中识别出激活最强的句子。
• 将激活最强的句子分解为词素、词和短语，以提取候选自然语言概念。
• 在每种概念被系统性地替换为占位符标记的复制文本上测量单元激活，以评估其贡献。
• 利用原始文本与遮蔽文本之间的激活差异，量化每个概念对单元响应的贡献程度。
• 在多种架构（VDCNN、ByteNet）、数据集（Yelp、AG News、DBpedia、Europarl、News Commentary）和任务（分类、翻译）上应用此概念对齐方法。
• 将每个概念对齐的单元数量与文档频率及期望损失差值（DEL）进行相关性分析，以评估其对任务性能的影响。

实验结果

研究问题

• RQ1 NLP任务中的CNN单元是否对特定词素、词或短语产生选择性响应，还是以不可解释的方式激活？
• RQ2 不同网络深度、架构和训练任务下，单元检测的语言概念如何变化？
• RQ3 哪些因素决定了某些概念被许多单元检测到，而其他概念则不然？
• RQ4 概念检测模式在多大程度上与训练数据中概念的频率及其对模型损失的影响（DEL）相关？
• RQ5 基于单元级概念检测的洞察，能否用于更高效的模型设计，例如在不损失性能的前提下减少参数？

主要发现

• NLP任务中的CNN单元作为特定词素、词和短语的选择性检测器，表明中间表征具有可解释性且语义上具有意义。
• 该方法无需额外标注或微调即可成功识别与单元对齐的语言概念，揭示了单元响应的是自然语言概念而非任意模式。
• 概念在训练数据中的频率与检测到该概念的单元数量之间存在强烈正相关性（r = 0.732）。
• 对模型性能影响更大的概念——以期望损失差值（DEL）衡量——也表现出更高的单元对齐度（r = 0.492），表明单元编码了任务关键信息。
• 概念粒度在中层至高层层（例如ByteNet中约6层编码器后）趋于稳定，表明对于给定任务，深层可能不会引入显著的新语言信息。
• 分析表明，中间层的表征已极具信息量，支持中间层在NLP中可能比深层更具可迁移性，这与计算机视觉中的趋势相反。