[论文解读] Exploit Multiple Reference Graphs for Semi-supervised Relation Extraction

Wanli Li, Tieyun Qian|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 39被引用 9

一句话总结

该论文提出了一种用于半监督关系抽取的多参考图（MRefG）模型，通过构建实体、动词和语义参考图，将未标记样本与已标记样本连接起来，利用结构相似性和语义相似性提升关系预测性能。该方法在两个公开数据集上优于最先进基线模型，通过更准确地识别高质量未标记样本用于训练增强，从而实现性能提升。

ABSTRACT

Manual annotation of the labeled data for relation extraction is time-consuming and labor-intensive. Semi-supervised methods can offer helping hands for this problem and have aroused great research interests. Existing work focuses on mapping the unlabeled samples to the classes to augment the labeled dataset. However, it is hard to find an overall good mapping function, especially for the samples with complicated syntactic components in one sentence. To tackle this limitation, we propose to build the connection between the unlabeled data and the labeled ones rather than directly mapping the unlabeled samples to the classes. Specifically, we first use three kinds of information to construct reference graphs, including entity reference, verb reference, and semantics reference. The goal is to semantically or lexically connect the unlabeled sample(s) to the labeled one(s). Then, we develop a Multiple Reference Graph (MRefG) model to exploit the reference information for better recognizing high-quality unlabeled samples. The effectiveness of our method is demonstrated by extensive comparison experiments with the state-of-the-art baselines on two public datasets.

研究动机与目标

• 为解决半监督关系抽取中不可靠映射函数的问题，即未标记样本被直接映射到关系类别。
• 通过语义和词汇线索建立未标记样本与已标记样本之间的连接，提升伪标签数据的质量。
• 通过使用参考图引导样本选择，减少对人工规则设计或知识库对齐的依赖。
• 提升低资源关系抽取场景下的模型泛化能力和性能。

提出的方法

• 构建三种类型的参考图：实体参考图、动词参考图和语义参考图，基于共享实体、动词或语义相似性，将未标记样本与已标记样本连接。
• 使用句子嵌入计算实例之间的余弦相似度或点积相似度，根据潜在空间中的接近程度在参考图中形成边。
• 将参考图整合到多参考图（MRefG）模型中，聚合多种图类型的信息以提升关系预测的置信度。
• 应用迭代式半监督学习，模型利用参考图信号从未标记集中选择高置信度预测结果，并使用增强后的数据重新训练。
• 在训练迭代过程中对参考图进行优化，降低噪声并提升所选样本的质量。
• 利用句法和语义特征——尤其是动词和实体——作为构建实例间词汇和语义连接的关键组件。

实验结果

研究问题

• RQ1 基于实体、动词和语义相似性构建多个参考图，是否能提升半监督关系抽取中伪标签数据的质量？
• RQ2 与直接映射函数相比，参考图在识别高置信度未标记样本方面表现如何？
• RQ3 参考图在多大程度上缓解了句法复杂性和修饰语干扰对关系预测的影响？
• RQ4 参考图是否有助于在模糊或复杂句式中恢复正确的关联方向？

主要发现

• MRefG 模型在两个公开数据集上持续优于最先进监督和半监督基线模型，在 F1 分数和精确率方面表现更优。
• 在训练后期，模型在选择未标记样本时表现出更高的精确率，因为参考图变得更加精细且噪声更少。
• 案例研究显示，MRefG 能够正确识别复杂句子中的关系——例如 S2 中的 '实体-目的地' 关系，以及 S3 中的 '产品-生产商' 关系，而 DualRE 因句法复杂性而失败。
• 在 S4 中，MRefG 通过利用与包含 'lead to' 的训练样本的语义相似性，成功捕捉了关系的方向性，而 DualRE 则因训练数据中的方向性模式而被误导。
• 通过使用动词和实体边，模型能够跨句法变体进行泛化，提升对句中修饰语的鲁棒性。
• MRefG 的性能曲线在训练后期持续提升，表明参考图优化带来了持续的收益。