[论文解读] Improving Long Tailed Document-Level Relation Extraction via Easy Relation Augmentation and Contrastive Learning

Yangkai Du, Tengfei Ma+5 more|arXiv (Cornell University)|May 21, 2022

Topic Modeling被引用 7

一句话总结

该论文提出了简易关系增强（ERA）和对比学习框架ERACL，以解决文档级关系抽取（DocRE）中的长尾分布问题。通过增强关系表征而非原始文本，ERA实现了对低资源（尾部）关系的高效、精准数据增强；ERACL则通过在远程监督数据上进行对比学习，进一步提升了模型的泛化能力，在不牺牲头部关系性能的前提下，显著提升了尾部关系的性能，实现了SOTA效果。

ABSTRACT

Towards real-world information extraction scenario, research of relation extraction is advancing to document-level relation extraction(DocRE). Existing approaches for DocRE aim to extract relation by encoding various information sources in the long context by novel model architectures. However, the inherent long-tailed distribution problem of DocRE is overlooked by prior work. We argue that mitigating the long-tailed distribution problem is crucial for DocRE in the real-world scenario. Motivated by the long-tailed distribution problem, we propose an Easy Relation Augmentation(ERA) method for improving DocRE by enhancing the performance of tailed relations. In addition, we further propose a novel contrastive learning framework based on our ERA, i.e., ERACL, which can further improve the model performance on tailed relations and achieve competitive overall DocRE performance compared to the state-of-arts.

研究动机与目标

• 为解决文档级关系抽取（DocRE）中的长尾分布问题，即罕见关系在数据中代表性不足且学习效果差。
• 开发一种计算高效的特定数据增强方法，专门提升尾部关系的性能，同时避免对整个文档重新编码。
• 通过基于所提增强方法构建的对比学习框架，提升模型在低资源关系上的鲁棒性与泛化能力。
• 在显著提升罕见（尾部）关系性能的同时，保持与SOTA相当的整体DocRE性能。
• 在低数据设置下及在主基准之外的多样化DocRE数据集上，验证所提方法的有效性。

提出的方法

• 提出一种新颖的数据增强技术——简易关系增强（ERA），其在关系表征层面操作，而非原始文本，从而实现对尾部关系的高效且精准的增强。
• 引入一种对比学习框架ERACL，通过在远程监督数据上最小化对比损失，统一增强后的与原始的关系表征。
• 采用类似MoCo的动量队列，维护一个动态负样本内存库，通过对比学习提升表征质量。
• 在远程监督数据的预训练阶段应用增强与对比学习，提升模型对罕见关系的泛化能力。
• 以XLM-RoBERTa-base作为主干编码器，并在DocRED与HacRED数据集上端到端应用该方法。
• 通过禁用ERA或对比学习组件进行消融研究，以分离其各自贡献。

实验结果

研究问题

• RQ1 相较于文本级增强，对关系表征而非原始文本进行增强，是否能更高效地提升DocRE中低资源（尾部）关系的性能？
• RQ2 在增强的关系表征上进行对比学习，在多大程度上能提升泛化能力，特别是对尾部关系？
• RQ3 所提出的ERA与ERACL框架是否能在显著提升尾部关系性能的同时，保持对头部关系的强性能？
• RQ4 在低数据设置下，该方法的有效性如何，此时长尾分布效应更为显著？
• RQ5 该方法是否能泛化到主基准（如HacRED）之外的其他长尾DocRE数据集？

主要发现

• 与ATLOP相比，ERA在尾部关系（簇4–10）上F1提升最高达0.44点，同时在头部关系（簇1–3）上保持了具有竞争力的性能。
• ERACL相比ATLOP实现0.50点F1提升，Macro F1提升0.79点，其中最大提升集中在尾部关系上。
• 在10%和5%训练数据设置下，ERACL分别取得14.89和11.84的Macro@500 F1，展现出在低数据环境下的强大数据效率与鲁棒性。
• 在HacRED数据集上，ERA相比ATLOP实现0.43点F1提升与0.74点Macro F1提升，证明了其在DocRED主基准之外的泛化能力。
• 消融研究显示，ERA与对比学习的贡献几乎相当，分别在移除时导致F1下降0.44与0.50点。
• 该方法在DocRED上实现了SOTA性能，同时显著提升了低频关系的表现，验证了其在缓解长尾分布问题上的有效性。