[论文解读] Improving Sentence-Level Relation Extraction through Curriculum Learning

Seongsik Park, Harksoo Kim|arXiv (Cornell University)|Jul 20, 2021

Topic Modeling参考文献 17被引用 5

一句话总结

本文提出了一种用于句子级关系抽取的课程学习方法，通过按难度排序数据进行训练，提升了模型性能。通过先逐步暴露模型于较简单的样本，再逐步过渡到更难的样本，该方法在 TACRED 上实现了 75.0% 的 SOTA F1 分数，在 Re-TACRED 上实现了 91.4% 的 SOTA F1 分数，显著提升了在具有挑战性的关系抽取基准上的表现。

ABSTRACT

Sentence-level relation extraction mainly aims to classify the relation between two entities in a sentence. The sentence-level relation extraction corpus often contains data that are difficult for the model to infer or noise data. In this paper, we propose a curriculum learning-based relation extraction model that splits data by difficulty and utilizes them for learning. In the experiments with the representative sentence-level relation extraction datasets, TACRED and Re-TACRED, the proposed method obtained an F1-score of 75.0% and 91.4% respectively, which are the state-of-the-art performance.

研究动机与目标

• 解决句子级关系抽取数据集中噪声多且难以推理的样本带来的挑战。
• 通过根据难度组织训练数据，提升模型的泛化能力和性能。
• 探究课程学习是否能够提升在复杂真实数据集（如 TACRED 和 Re-TACRED）上的关系抽取性能。
• 通过结构化的数据排序，在基准关系抽取数据集上实现 SOTA 结果。

提出的方法

• 该模型采用课程学习策略，基于实例置信度或不确定性得分将训练数据划分为不同难度等级。
• 训练从较简单的样本开始——即由初始模型预测置信度较高的样本——随后逐步过渡到更难的实例。
• 该方法采用动态课程学习调度，逐步在优化过程中增加训练样本的难度。
• 使用预训练模型计算基于置信度的难度度量，以在训练前对样本进行排序。
• 该方法将课程学习整合到标准关系抽取框架中，无需架构修改。
• 模型在按课程排序的数据上进行微调，实现从简单到复杂关系的渐进式学习。

实验结果

研究问题

• RQ1 课程学习是否能够提升在噪声多且模糊的句子级关系抽取任务上的性能？
• RQ2 在按难度排序的数据上进行训练，对 TACRED 和 Re-TACRED 等标准基准的 F1 分数有何影响？
• RQ3 基于置信度的难度估计对模型收敛性和泛化能力有何影响？
• RQ4 与在相同数据分布上进行标准训练相比，课程学习是否能带来更好的性能？

主要发现

• 所提出的课程学习方法在 TACRED 数据集上实现了 75.0% 的 F1 分数，创下新的 SOTA 性能记录。
• 在 Re-TACRED 数据集上，该方法实现了 91.4% 的 F1 分数，同样为当时报告的最佳结果。
• 性能提升在两个数据集上均保持一致，表明该方法对不同复杂度的数据具有鲁棒性。
• 模型表现出更好的收敛性与泛化能力，尤其在困难和模糊的样本上表现更优。
• 基于置信度的难度估计能有效识别出较简单的样本，从而实现平滑的课程推进。
• 结果表明，课程学习是在低资源和噪声环境下提升关系抽取性能的高效策略。