[论文解读] Composing Distributed Representations of Relational Patterns

Sho Takase, Naoaki Okazaki+1 more|arXiv (Cornell University)|Jul 23, 2017

Topic Modeling被引用 3

一句话总结

本文引入了一个新的由人工标注的数据集，包含5,555对关系模式的五点相似度评分，使分布式表示模型的详细评估成为可能。本文提出了门控加法组合（Gated Additive Composition, GAC），一种带有门控机制的增强型加法组合方法，并通过实验表明，GAC在建模关系模式语义方面优于标准编码器（如RNN、LSTM和GRU），且该新数据集可作为下游关系分类任务性能的可靠预测指标。

ABSTRACT

Learning distributed representations for relation instances is a central technique in downstream NLP applications. In order to address semantic modeling of relational patterns, this paper constructs a new dataset that provides multiple similarity ratings for every pair of relational patterns on the existing dataset. In addition, we conduct a comparative study of different encoders including additive composition, RNN, LSTM, and GRU for composing distributed representations of relational patterns. We also present Gated Additive Composition, which is an enhancement of additive composition with the gating mechanism. Experiments show that the new dataset does not only enable detailed analyses of the different encoders, but also provides a gauge to predict successes of distributed representations of relational patterns in the relation classification task.

研究动机与目标

• 为解决自然语言处理中关系模式分布式表示缺乏明确评估基准的问题。
• 构建一个高质量、由人工标注的数据集，为关系模式对提供多轮相似度评分，以实现对表示模型的详细分析。
• 比较不同神经编码器（加法组合、RNN、LSTM、GRU）在组合关系模式分布式表示方面的有效性。
• 提出并评估门控加法组合（Gated Additive Composition, GAC），即在可学习门控机制下对加法组合的增强版本。
• 验证新数据集在预测下游任务（如关系分类）中性能方面的实用性。

提出的方法

• 通过在Zeichner等人（2012）的5,555对关系模式对上采用基于实例的人工判断，重新标注语义相似度，评分范围为1（不相似）至7（非常相似），构建了新数据集。
• 采用Skip-gram目标在大规模未标注语料上预训练词嵌入，并将这些嵌入作为编码器的输入。
• 通过在加法组合中集成门控机制，设计了门控加法组合（Gated Additive Composition, GAC），实现对表示中各成分贡献的动态控制。
• 使用余弦相似度作为语义相似度的代理指标，在新数据集上评估了多种编码器（加法组合、RNN、LSTM、GRU和GAC）的性能。
• 利用SemEval 2010任务8的关系分类基准，测试了所学表示在真实自然语言处理任务中的可迁移性。
• 通过CrowdFlower平台进行众包，收集人工相似度评分，并采用严格的标注指南以确保高标注者间一致性。

实验结果

研究问题

• RQ1 不同神经编码器（加法组合、RNN、LSTM、GRU、GAC）在建模关系模式语义相似度方面表现如何？
• RQ2 所提出的手工标注数据集能否作为评估和比较关系模式分布式表示模型的可靠基准？
• RQ3 门控加法组合（GAC）模型是否在捕捉关系模式语义方面优于标准加法组合和循环架构？
• RQ4 新数据集中的相似度评分在多大程度上能预测分布式表示在下游任务（如关系分类）中的成功？
• RQ5 序列编码器中的架构选择在多大程度上影响对具有不同句法和语义复杂度的关系模式的建模？

主要发现

• 新数据集表现出高度的标注者间一致性，证实其在评估关系模式语义相似度方面的可靠性。
• 门控加法组合（Gated Additive Composition, GAC）在所有评估编码器中，于捕捉关系模式间语义相似度方面表现最佳。
• 结合Skip-gram预训练嵌入与GAC的模型展现出强大的泛化能力，在SemEval 2010任务8的关系分类基准中取得了具有竞争力的结果。
• 新数据集中的相似度评分与下游任务性能高度相关，表明其作为关系分类中模型成功预测指标的实用性。
• 循环模型（LSTM、GRU）优于标准加法组合，但GAC通过显式建模类似注意力的门控机制，进一步超越了它们。
• 本研究表明，使用Skip-gram进行通用预训练，结合门控等架构改进，能显著提升关系模式表示学习的效果。