[论文解读] Commonsense Knowledge Enhanced Embeddings for Solving Pronoun Disambiguation Problems in Winograd Schema Challenge

Quan Liu, Hui Jiang+4 more|arXiv (Cornell University)|Nov 13, 2016

Topic Modeling参考文献 21被引用 13

一句话总结

本文提出常识知识增强嵌入（KEE），通过将ConceptNet、WordNet和CauseCom中的常识知识整合到词嵌入训练中，以提升Winograd模式挑战中代词消歧的性能。该方法采用结合无监督语义相似度与神经知识激活的混合方法，在PDP任务上实现了66.7%的新SOTA准确率。

ABSTRACT

In this paper, we propose commonsense knowledge enhanced embeddings (KEE) for solving the Pronoun Disambiguation Problems (PDP). The PDP task we investigate in this paper is a complex coreference resolution task which requires the utilization of commonsense knowledge. This task is a standard first round test set in the 2016 Winograd Schema Challenge. In this task, traditional linguistic features that are useful for coreference resolution, e.g. context and gender information, are no longer effective anymore. Therefore, the KEE models are proposed to provide a general framework to make use of commonsense knowledge for solving the PDP problems. Since the PDP task doesn't have training data, the KEE models would be used during the unsupervised feature extraction process. To evaluate the effectiveness of the KEE models, we propose to incorporate various commonsense knowledge bases, including ConceptNet, WordNet, and CauseCom, into the KEE training process. We achieved the best performance by applying the proposed methods to the 2016 Winograd Schema Challenge. In addition, experiments conducted on the standard PDP task indicate that, the proposed KEE models could solve the PDP problems by achieving 66.7% accuracy, which is a new state-of-the-art performance.

研究动机与目标

• 解决Winograd模式挑战中的代词消歧问题，传统语言特征因缺乏选择性限制和句法线索而失效。
• 通过利用外部常识知识库引导无监督特征学习，弥补PDP任务中缺乏训练数据的不足。
• 构建一个灵活的框架，将常识知识注入分布式词嵌入，以提升指代消解性能。
• 通过知识增强的表示方法，在PDP基准上超越随机猜测和基线系统，实现性能提升。
• 通过系统性地整合多个知识库，在官方2016年Winograd模式挑战测试集上实现SOTA结果。

提出的方法

• 在来自常识知识库（ConceptNet、WordNet、CauseCom）的监督下训练词嵌入，构建编码语义与常识约束的KEE模型。
• 使用上下文感知的词嵌入组合方法，表示PDP问题中的代词和候选先行词。
• 应用无监督语义相似度（USSM），基于KEE表示之间的余弦相似度对候选先行词进行排序。
• 实施神经知识激活方法（NKAM），使用基于KEE提取特征训练的神经分类器，以提升消歧性能。
• 将USSM与NKAM结合为混合系统（USSM+NKAM），同时利用相似度与学习到的分类能力以获得更优性能。
• 在Wikipedia语料上微调KEE模型，同时融合多个知识库的知识，以增强泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 能否有效将外部知识库中的常识知识整合到分布式词嵌入中，以提升代词消歧性能？
• RQ2 整合多个知识库（ConceptNet、WordNet、CauseCom）对PDP任务性能有何影响？
• RQ3 所提出的KEE框架是否优于仅依赖上下文信息而无常识监督的基线系统？
• RQ4 结合无监督相似度与神经分类的混合方法能否进一步提升消歧准确率？
• RQ5 使用知识增强嵌入在PDP基准上可达到的性能上限是多少？

主要发现

• 所提出的KEE框架在使用Wikipedia语料和综合知识库方法时，于PDP任务上实现了66.7%的新SOTA准确率。
• 表现最佳的系统（USSM+NKAM，使用全部知识库）达到66.7%的准确率，显著优于仅使用上下文的基线系统（53.3%）。
• 引入CauseCom知识带来的性能提升最大，相比仅使用上下文的基线系统，准确率提高了21.9%。
• 三种知识库（ConceptNet、WordNet、CauseCom）的组合产生了最高性能，证实了多样化常识来源之间的互补性。
• 该系统在官方2016年Winograd模式挑战中取得了58.3%的准确率，为所有提交结果中的最高分，验证了其在真实场景下的有效性。
• 实验表明，在CBTest和基于Wikipedia的训练语料上均实现一致性能提升，最佳系统在Wikipedia语料上相比仅使用上下文的基线系统，准确率提升了25.1个百分点。