[论文解读] Capturing Long-range Contextual Dependencies with Memory-enhanced Conditional Random Fields

Fei Liu, Timothy Baldwin+1 more|arXiv (Cornell University)|Sep 12, 2017

Topic Modeling参考文献 20被引用 10

一句话总结

本文提出记忆增强型条件随机场（ME-CRF），作为线性链CRF的扩展，通过引入外部记忆与注意力机制来捕捉长距离上下文依赖。通过关注整个序列中的相关条目，ME-CRF在命名实体识别任务上达到最先进性能（F1值89.5），并在命名实体识别与论坛线程解析任务上均优于强基线模型（CRF与LSTM）。

ABSTRACT

Despite successful applications across a broad range of NLP tasks, conditional random fields ("CRFs"), in particular the linear-chain variant, are only able to model local features. While this has important benefits in terms of inference tractability, it limits the ability of the model to capture long-range dependencies between items. Attempts to extend CRFs to capture long-range dependencies have largely come at the cost of computational complexity and approximate inference. In this work, we propose an extension to CRFs by integrating external memory, taking inspiration from memory networks, thereby allowing CRFs to incorporate information far beyond neighbouring steps. Experiments across two tasks show substantial improvements over strong CRF and LSTM baselines.

研究动机与目标

• 解决线性链CRF因依赖局部特征而在建模长距离上下文依赖方面存在的局限性。
• 克服先前通过跳跃连接或非局部结构扩展CRF的方法所面临的计算复杂度高与近似推理问题。
• 通过集成受记忆网络启发的外部记忆机制，在保持精确推理的同时实现对非局部上下文的访问。
• 通过利用文档级上下文信息，无需对标签一致性施加硬性约束，从而提升命名实体识别与论坛线程话语结构预测性能。
• 证明基于软注意力机制的记忆集成可自动学习远距离提及之间的标签一致性，而无需启发式规则或手动构建图结构。

提出的方法

• 将外部记忆模块集成到线性链CRF框架中，使每个标记通过可微注意力机制关注记忆中的所有条目。
• 使用双向GRU对输入序列与记忆条目进行编码，以实现对输入与记忆状态的上下文表征学习。
• 利用当前标记隐藏状态生成的查询，计算对记忆条目的注意力权重，实现对相关长距离上下文的动态选择。
• 将CRF转移得分表示为局部特征与注意力记忆表征的函数，从而实现在整个序列上的联合推理。
• 使用随机梯度下降进行端到端训练，对GRU单元应用Dropout正则化，并固定使用预训练词嵌入。
• 通过保持CRF的因子图结构，实现精确推理，同时通过记忆中的长距离信息丰富特征空间。

实验结果

研究问题

• RQ1 能否在不牺牲推理可塑性的前提下，将外部记忆机制有效集成到线性链CRF中以建模长距离依赖？
• RQ2 与局部模型相比，对序列所有元素的记忆进行注意力计算，在具有长距离上下文依赖的任务中能否显著提升性能？
• RQ3 ME-CRF在无需硬性约束或启发式规则的前提下，能在多大程度上自动学习同一命名实体在远距离提及之间的标签一致性？
• RQ4 所提出的模型是否在命名实体识别与论坛线程解析任务上优于强基线模型（如Bi-LSTM-CRF与Conv-CRF）？
• RQ5 注意力权重在记忆条目上的分布如何？它们是否与有意义的长距离上下文（如同一实体的先前提及）对齐？

主要发现

• 在CoNLL 2003英语命名实体识别共享任务上，ME-CRF取得89.5的F1值，优于所有基线模型，包括Bi-LSTM-CRF（88.8）与Conv-CRF（88.7）。
• 该模型学会关注相关长距离上下文：在一个示例中，其对前一句中的'Juventus'分配65%的注意力，对'Manchester'分配23%，并正确区分了实体类型。
• 在第二个示例中，ME-CRF对当前句中的'Interfax'分配68%的注意力，对同一词语的先前出现分配32%的注意力，成功捕捉到前文提及的'news agency'上下文。
• 注意力机制实现了软标签一致性：模型在无需启发式规则或强制聚类的情况下，学会将同一实体的远距离提及关联起来。
• ME-CRF保持了精确推理的兼容性，而先前方法因复杂图结构或非局部依赖关系，通常需依赖近似推理。
• 该模型在论坛线程解析任务中表现出鲁棒性，其中回复可能在序列中相距甚远，显示出其在真实世界长距离依赖任务中的有效性。