[论文解读] SelfORE: Self-supervised Relational Feature Learning for Open Relation Extraction

Xuming Hu, Chenwei Zhang+3 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 28被引用 9

一句话总结

SelfORE 提出了一种用于开放域关系抽取的自监督学习框架，该框架利用预训练的 BERT 模型生成上下文相关的实体对表征，通过自适应软聚类为自监督生成伪标签，并通过端到端训练迭代提升特征质量。该方法在三个基准数据集上实现了最先进性能，且无需人工标注的关系或关系数量的先验知识。

ABSTRACT

Open relation extraction is the task of extracting open-domain relation facts from natural language sentences. Existing works either utilize heuristics or distant-supervised annotations to train a supervised classifier over pre-defined relations, or adopt unsupervised methods with additional assumptions that have less discriminative power. In this work, we proposed a self-supervised framework named SelfORE, which exploits weak, self-supervised signals by leveraging large pretrained language model for adaptive clustering on contextualized relational features, and bootstraps the self-supervised signals by improving contextualized features in relation classification. Experimental results on three datasets show the effectiveness and robustness of SelfORE on open-domain Relation Extraction when comparing with competitive baselines.

研究动机与目标

• 为解决远程监督和无监督方法在开放域关系抽取中的局限性，减少对人工标注关系的依赖。
• 开发一种自监督框架，学习判别性关系特征，而无需预定义关系或已知关系数量。
• 通过从聚类中衍生的自监督信号，迭代优化关系表征质量。
• 在关系类型未知且动态变化的开放世界设置中，实现鲁棒且高效的关系抽取。

提出的方法

• 上下文关系编码器使用 BERT 基于句子上下文编码实体对表征。
• 自适应聚类对实体对进行软分配，将其划入关系簇，生成高置信度伪标签，且无需预先指定簇的数量。
• 关系分类模块基于伪标签进行训练，以优化编码器中的上下文特征，形成提升表征学习的反馈循环。
• 通过联合优化编码器和分类器，框架迭代提升聚类质量和特征表征。
• 通过分类损失优化特征，自举自监督信号，提升后续聚类步骤中伪标签的质量。
• 从簇中心推导出表面形式的关系名称，使模型能够输出可解释的关系标签。

实验结果

研究问题

• RQ1 自监督学习能否有效替代开放域关系抽取中的人工标注或远程监督？
• RQ2 如何利用自监督信号迭代优化上下文相关的表征特征？
• RQ3 在缺乏关系数量先验知识的情况下，自适应软聚类在多大程度上能提升关系聚类性能？
• RQ4 自监督框架能否在开放域关系抽取中超越现有的无监督和远程监督基线方法？

主要发现

• SelfORE 在三个真实世界数据集上实现了最先进性能，优于竞争性基线方法。
• 该模型在关系分布各异且关系数量未知的数据集上表现出强鲁棒性。
• 通过自监督分类对上下文特征进行迭代优化，显著提升了聚类质量和关系判别能力。
• 与传统硬聚类方法相比，自适应软聚类对簇数量的敏感性更低。
• 该框架成功从簇中心推导出表面形式的关系名称，实现可解释的关系输出。
• 在无任何新关系标注样本的零样本设置下，模型泛化能力良好。