[论文解读] Dissecting Contextual Word Embeddings: Architecture and Representation

Matthew E. Peters, Mark E Neumann+2 more|arXiv (Cornell University)|Aug 27, 2018

Topic Modeling参考文献 47被引用 6

一句话总结

本文研究了不同神经网络架构（LSTM、CNN 和自注意力机制，即 Transformer）对双向语言模型（biLMs）中上下文词表示的影响。研究发现，所有架构均能学习到高质量、分层的语法表示，下层捕捉形态与句法信息，上层则编码长距离语义信息（如代词指代），尽管在速度与准确率之间存在权衡。

ABSTRACT

Contextual word representations derived from pre-trained bidirectional language models (biLMs) have recently been shown to provide significant improvements to the state of the art for a wide range of NLP tasks. However, many questions remain as to how and why these models are so effective. In this paper, we present a detailed empirical study of how the choice of neural architecture (e.g. LSTM, CNN, or self attention) influences both end task accuracy and qualitative properties of the representations that are learned. We show there is a tradeoff between speed and accuracy, but all architectures learn high quality contextual representations that outperform word embeddings for four challenging NLP tasks. Additionally, all architectures learn representations that vary with network depth, from exclusively morphological based at the word embedding layer through local syntax based in the lower contextual layers to longer range semantics such coreference at the upper layers. Together, these results suggest that unsupervised biLMs, independent of architecture, are learning much more about the structure of language than previously appreciated.

研究动机与目标

• 理解架构选择（LSTM、CNN、自注意力机制）如何影响 biLM 中上下文词表示的质量与归纳偏置。
• 探究计算效率较高的架构（如 CNN 和 Transformer）是否能与 LSTM 在学习上下文表示方面表现相当或更优。
• 分析不同 biLM 架构中网络各层之间语言信息的分层组织结构。
• 评估 biLM 表示在下游自然语言处理任务中的可迁移性，包括句法与语义探查。
• 确定 biLM 是否在不依赖架构的前提下，学习到了比以往认识更多的语言结构。

提出的方法

• 使用大规模文本语料库，采用三种不同架构（LSTM、CNN、Transformer，即自注意力机制）预训练双向语言模型（biLMs）。
• 对输入词元使用字符感知编码，以提升对罕见词的泛化能力并捕捉形态信息。
• 从每个 biLM 架构的每一层中提取并分析内部激活（上下文向量），用于下游探查任务。
• 通过线性分类器进行内在探查，评估特定语言特征（如形态、句法、指代）是否被编码在特定层中。
• 将 biLM 表示迁移至四个基准自然语言处理任务：命名实体识别（NER）、多跳自然语言蕴涵（MultiNLI）、依存句法分析与短语结构句法分析。
• 采用逐层线性探查方法，识别对下游任务性能贡献最大的层，并评估各层的功能专业化程度。

实验结果

研究问题

• RQ1 在 biLM 中使用时，LSTM、CNN 和 Transformer 等不同神经架构在最终任务准确率与推理速度方面如何比较？
• RQ2 非 RNN 架构（如 CNN 和 Transformer）是否能学习到与 LSTMs 相当或更优的高质量上下文表示？
• RQ3 biLM 的各层之间是否存在语言信息的分层组织结构？若存在，其在不同架构间如何变化？
• RQ4 biLM 的哪些层对下游自然语言处理任务最具可迁移性？这些层编码了哪些语言特征？
• RQ5 biLM 在不依赖架构的前提下，是否学习到了比以往认识更多的语言结构（如句法、语义）？

主要发现

• 三种架构（LSTM、CNN、Transformer）在四个基准自然语言处理任务上均显著优于传统词嵌入，仅在速度与准确率之间存在轻微权衡。
• 所有 biLM 中的词嵌入层仅关注形态学信息，不包含任何语义内容。
• 较低的上下文层（如前几层）编码局部句法特征，如词性与依存关系。
• 上层则捕捉长距离语义依赖关系，包括句内代词指代与语义角色标注。
• 对下游任务最具可迁移性的表示通常位于中间层，而非最顶层，后者专注于语言建模。
• biLM 的激活可以有效用于构建对句法任务（如短语结构句法分析）有用的短语级表示。