[论文解读] One Vector is Not Enough: Entity-Augmented Distributional Semantics for Discourse Relations

Yangfeng Ji, Jacob Eisenstein|arXiv (Cornell University)|Nov 25, 2014

Topic Modeling参考文献 50被引用 15

一句话总结

本文提出了一种实体增强的分布语义模型，通过在句法解析树上进行新颖的上下行传递，不仅为话语论元，还为指代同一实体的提及项计算组合向量表示，从而提升了隐式话语关系分类的性能。该方法在宾夕法尼亚话语树库上相比先前最先进系统实现了3%的准确率提升，通过捕捉与实体相关的语义依赖关系，而这些关系是单向量表示无法编码的。

ABSTRACT

Discourse relations bind smaller linguistic units into coherent texts. However, automatically identifying discourse relations is difficult, because it requires understanding the semantics of the linked arguments. A more subtle challenge is that it is not enough to represent the meaning of each argument of a discourse relation, because the relation may depend on links between lower-level components, such as entity mentions. Our solution computes distributional meaning representations by composition up the syntactic parse tree. A key difference from previous work on compositional distributional semantics is that we also compute representations for entity mentions, using a novel downward compositional pass. Discourse relations are predicted from the distributional representations of the arguments, and also of their coreferent entity mentions. The resulting system obtains substantial improvements over the previous state-of-the-art in predicting implicit discourse relations in the Penn Discourse Treebank.

研究动机与目标

• 解决单向量表示在捕捉依赖于实体角色和回指关系的话语关系方面的局限性。
• 在现有最先进方法的基础上进一步提升隐式话语关系分类的性能。
• 不仅在论元层面，而且在实体提及层面，利用组合分布语义建模话语语义。
• 证明核心指代实体表示显著提升隐式话语关系的预测能力。

提出的方法

• 该模型通过两阶段组合过程计算分布语义表示：首先沿句法解析树向上传递以表示话语论元，然后向下传递以表示核心指代的实体提及。
• 实体提及表示通过前馈模型计算，结合了二叉化解析树中父节点和兄弟节点的信息。
• 系统采用论元级和实体级向量表示的双线性组合来预测话语关系。
• 组合算子和预测矩阵在大间隔框架中通过话语关系标注进行反向传播联合训练。
• 将表面特征与分布语义表示结合，以提升分类性能。
• 通过将提及项如‘She’和‘Tina’链接到其先行词，显式建模回指链，从而实现更丰富的语义建模。

实验结果

研究问题

• RQ1 建模核心指代的实体提及是否能超越仅基于论元级表示，提升隐式话语关系的分类性能？
• RQ2 通过下行组合整合实体角色语义，与标准组合分布语义模型相比，如何提升话语关系预测性能？
• RQ3 在捕捉话语中细微的语义依赖关系方面，实体增强表示在多大程度上优于单向量表示？
• RQ4 结合句法结构与回指消解是否能带来更稳健和准确的话语解析？

主要发现

• 所提出的实体增强模型在宾夕法尼亚话语树库上的多类隐式话语关系分类任务中，相比先前最先进系统实现了3%的绝对准确率提升。
• 引入实体提及表示显著提升了性能，证明单向量表示不足以捕捉话语层面的语义。
• 下行组合传递有效捕捉了核心指代实体的角色特定语义，例如在不同语境中区分‘She’与‘Bob’。
• 该模型优于更近期的二分类方法，表明其在不同任务设定下具有鲁棒性。
• t-SNE可视化结果表明，‘she’和‘he’等词具有相似的分布语义表示，但该模型通过实体增强表示成功区分了其话语角色。
• 结果验证了话语关系不仅依赖于表面特征或论元级语义——回指和实体角色对于准确预测至关重要。