[论文解读] Enhanced Word Representations for Bridging Anaphora Resolution

Yufang Hou|arXiv (Cornell University)|Mar 13, 2018

Topic Modeling参考文献 13被引用 3

一句话总结

本文提出 embeddings_PP，一种新颖的词嵌入方法，通过利用介词短语（如 X of Y）和所有格短语（如 Y’s X）的句法结构，捕捉关联性相关性——这对桥接回指消解至关重要。在这些句法上下文中使用 GloVe 训练，embeddings_PP 在 ISNotes 语料库上单独使用即可达到 30.32% 的准确率，并将最先进的 MLN 模型性能提升至 45.85% 的准确率，优于基线词嵌入和先前系统。

ABSTRACT

Most current models of word representations(e.g.,GloVe) have successfully captured fine-grained semantics. However, semantic similarity exhibited in these word embeddings is not suitable for resolving bridging anaphora, which requires the knowledge of associative similarity (i.e., relatedness) instead of semantic similarity information between synonyms or hypernyms. We create word embeddings (embeddings_PP) to capture such relatedness by exploring the syntactic structure of noun phrases. We demonstrate that using embeddings_PP alone achieves around 30% of accuracy for bridging anaphora resolution on the ISNotes corpus. Furthermore, we achieve a substantial gain over the state-of-the-art system (Hou et al., 2013) for bridging antecedent selection.

研究动机与目标

• 解决标准词嵌入在桥接回指消解中难以捕捉关联性相关性而非语义相似性的问题。
• 开发一种词汇资源，通过名词短语的句法结构建模回指代词与先行词之间的相关性。
• 在现有最先进系统的基础上，进一步提升桥接先行词选择的性能。

提出的方法

• 通过从介词短语（X of Y）和所有格短语（Y’s X）的名词短语结构中提取上下文来构建词嵌入。
• 在这些句法上下文中训练 GloVe 嵌入，生成编码名词之间关联关系的 embeddings_PP。
• 通过头词和前置修饰名词的向量平均，表示嵌入空间中的完整名词短语。
• 通过 embeddings_PP 向量之间的余弦相似度计算回指代词与先行词候选之间的相关性。
• 将 embeddings_PP 作为新约束整合进现有的马尔可夫逻辑网络（MLN）模型中，实现联合推理。
• 使用 ISNotes 语料库上的准确率评估桥接回指消解的性能。

实验结果

研究问题

• RQ1 名词短语的句法结构，特别是介词短语和所有格结构，能否有效建模桥接回指的关联性相关性？
• RQ2 从这些结构中衍生出的 embeddings_PP 是否在桥接回指消解中优于标准词嵌入（如 GloVe）？
• RQ3 将 embeddings_PP 整合进现有 MLN 模型是否能显著提升桥接先行词选择的性能？
• RQ4 embeddings_PP 中的后缀 '_PP 是否是捕捉相关性所必需的关键组件？
• RQ5 在该任务中，包含前置修饰语的完整名词短语的向量表示与仅头词的表示相比，表现如何？

主要发现

• embeddings_PP 单独在 ISNotes 语料库的桥接回指消解任务中达到 30.32% 的准确率，较原始 GloVe_GigaWiki14 模型（18.10%）提升了 12.22%。
• 不带 '_PP' 后缀的模型（embeddings_wo_PPSuffix）仅达到 22.17% 的准确率，表明后缀对捕捉目标相关性至关重要。
• 将 embeddings_PP 整合进 MLN 模型 II 后，性能提升至 45.85%，较原始 MLN 模型 II（41.32%）提升了 4.53% 的绝对准确率。
• 在 MLN 模型 II 中添加 GloVe_GigaWiki14 或 embeddings_wo_PPSuffix 作为特征会轻微降低性能，表明 embeddings_PP 提供了独特且互补的信息信号。
• 使用 embeddings_PP 对头词和前置修饰名词进行向量平均，能够有效表示完整名词短语的语义，从而提升先行词选择效果。