[论文解读] A Deep Neural Network for Chinese Zero Pronoun Resolution

Qingyu Yin, Weinan Zhang+2 more|arXiv (Cornell University)|Apr 20, 2016

Natural Language Processing Techniques参考文献 31被引用 6

一句话总结

本文提出了一种针对零代词的神经网络（ZPSNN），通过以零代词为中心的LSTM建模语义上下文，并采用两级候选编码器捕捉候选先行词的局部与全局信息。在OntoNotes 5.0数据集上的实验表明，该方法在多种设置下均优于当前最先进方法。

ABSTRACT

Existing approaches for Chinese zero pronoun resolution overlook semantic information. This is because zero pronouns have no descriptive information, which results in difficulty in explicitly capturing their semantic similarities with antecedents. Moreover, when dealing with candidate antecedents, traditional systems simply take advantage of the local information of a single candidate antecedent while failing to consider the underlying information provided by the other candidates from a global perspective. To address these weaknesses, we propose a novel zero pronoun-specific neural network, which is capable of representing zero pronouns by utilizing the contextual information at the semantic level. In addition, when dealing with candidate antecedents, a two-level candidate encoder is employed to explicitly capture both the local and global information of candidate antecedents. We conduct experiments on the Chinese portion of the OntoNotes 5.0 corpus. Experimental results show that our approach substantially outperforms the state-of-the-art method in various experimental settings.

研究动机与目标

• 为解决零代词缺乏语义信息的问题，该问题阻碍了其与先行词之间的语义相似性计算。
• 克服现有模型将候选先行词孤立处理的局限，忽略了它们之间的全局上下文关系。
• 通过建模零代词周围上下文的语义特征，并捕捉候选先行词的局部与全局特征，提升零代词消解性能。
• 开发一种神经网络架构，利用深度学习有效表示零代词与候选先行词，提升消解准确率。

提出的方法

• 提出一种以零代词为中心的LSTM，用于建模零代词前后文，生成语义层面的表示。
• 引入两级候选先行词编码器：局部编码器用于处理单个候选的上下文与内容，全局编码器则整合集合中其他候选的信息。
• 使用词嵌入表示词汇特征，并应用注意力机制聚焦于多词先行词中的关键部分。
• 采用基于排序的解码策略，根据局部与全局表示的综合结果，从候选集合中选择最可能的先行词。
• 在中文OntoNotes 5.0语料库上使用交叉熵损失进行端到端监督训练。
• 利用句子级历史向量增强上下文建模，尤其适用于前文无内容的句首零代词。

实验结果

研究问题

• RQ1 通过上下文建模零代词语义是否能提升消解准确率？
• RQ2 引入其他候选先行词的全局信息是否能增强单个候选的表示能力？
• RQ3 采用两级编码策略的深度神经网络是否能超越仅使用局部特征的模型？
• RQ4 该模型在无前文上下文的句首零代词上的表现如何？
• RQ5 该模型在多大程度上减少了因过度依赖代词类候选（如‘我’、‘你’）导致的错误？

主要发现

• 所提出的ZPSNN在OntoNotes 5.0中文部分数据集上达到最先进性能，在所有实验设置下均优于先前方法。
• 两级候选编码器显著提升了消解效果，有效捕捉了候选的局部上下文与候选间的全局关系。
• 以零代词为中心的LSTM能有效编码语义上下文，即使零代词无显式形式，也能生成更优的表示。
• 该模型减少了对代词类候选的过拟合问题，尤其在句首零代词上表现更优。
• 全局编码器通过区分局部特征相似但语篇角色不同的候选，有助于解决歧义情况。
• 消融实验表明，局部与全局编码组件均对模型性能有显著贡献。