[论文解读] An Overview of Distant Supervision for Relation Extraction with a Focus on Denoising and Pre-training Methods

William J. Hogan|arXiv (Cornell University)|Jul 17, 2022

Topic Modeling被引用 4

一句话总结

本综述回顾了关系抽取中的远程监督方法，重点聚焦去噪与预训练技术。提出了一种细粒度对比学习方法（FineCL），通过利用训练实例的学习顺序，在对比预训练过程中对早期学习、更可能正确的实例赋予更高权重，从而提升关系表征质量，在DocRED、TACRED和SemEval数据集上实现了最先进性能。

ABSTRACT

Relation Extraction (RE) is a foundational task of natural language processing. RE seeks to transform raw, unstructured text into structured knowledge by identifying relational information between entity pairs found in text. RE has numerous uses, such as knowledge graph completion, text summarization, question-answering, and search querying. The history of RE methods can be roughly organized into four phases: pattern-based RE, statistical-based RE, neural-based RE, and large language model-based RE. This survey begins with an overview of a few exemplary works in the earlier phases of RE, highlighting limitations and shortcomings to contextualize progress. Next, we review popular benchmarks and critically examine metrics used to assess RE performance. We then discuss distant supervision, a paradigm that has shaped the development of modern RE methods. Lastly, we review recent RE works focusing on denoising and pre-training methods.

研究动机与目标

• 提供从基于模式的方法到基于大语言模型的方法的关系抽取（RE）方法演进的全面概述。
• 分析传统RE方法的局限性，特别是基于模式的系统召回率低以及统计模型的数据稀缺问题。
• 探讨远程监督在利用知识图谱和非结构化文本实现大规模弱监督关系抽取中的作用。
• 研究去噪与预训练技术的最新进展，以提升远程监督关系抽取中的鲁棒性与性能。
• 评估细粒度对比学习（FineCL）在利用训练动态增强关系表征学习方面的有效性。

提出的方法

• FineCL使用现成的预训练语言模型（如RoBERTa）进行预训练，损失函数为交叉熵损失。
• 该方法记录关系实例首次被正确预测的训练顺序，假设早期学习的实例更可能具有正确标签。
• 基于学习顺序计算实例特定的权重，对更早学习的实例赋予更高权重（假设其数据更清洁）。
• 这些实例权重用于调节对比学习损失函数，以促进语义相似关系的聚类。
• 由此产生的对比目标在预训练过程中提升了关系表征的质量。
• 最终模型在使用预训练阶段获得的增强表征基础上，于黄金标签数据集上进行微调。

实验结果

研究问题

• RQ1 在远程监督关系抽取中，训练实例的学习顺序与标签准确率之间是否存在相关性？
• RQ2 基于训练动态的细粒度监督是否能在低资源设置下提升关系表征学习？
• RQ3 将实例学习顺序整合到对比预训练中，能在下游关系抽取基准上带来多大程度的性能提升？
• RQ4 去噪与预训练方法在缓解远程监督关系抽取数据中的噪声方面发挥何种作用？
• RQ5 FineCL在标准RE基准上相较于现有预训练与去噪基线的性能表现如何？

主要发现

• FineCL在DocRED测试集上达到最先进性能，使用100%训练数据时F1-micro得分为59.5%，优于所有基线模型，包括RoBERTa和ERICA。
• 在TACRED数据集上，FineCL使用100%训练数据时F1-micro得分为70.3%，较次佳基线（ERICA RoBERTa）高出0.8分。
• 在SemEval-2010任务8上，FineCL使用100%数据时F1-micro得分为88.7%，较最佳基线（ERICA RoBERTa）高出0.9分。
• 该方法在所有基准数据集的所有数据设置（1%、10%、100%）下均表现出一致增益，表明对数据稀缺具有鲁棒性。
• 在对比学习中引入基于学习顺序的加权机制，显著提升了泛化能力，尤其在低数据场景下表现突出。
• 实证验证了早期学习与标签准确率之间的相关性，支持FineCL的核心假设。