[论文解读] Less is More: Rethinking State-of-the-art Continual Relation Extraction Models with a Frustratingly Easy but Effective Approach

Peiyi Wang, Yifan Song+5 more|arXiv (Cornell University)|Sep 1, 2022

Data Stream Mining Techniques被引用 5

一句话总结

本文提出 Fea，一种简单但高效的两阶段持续关系抽取（CRE）方法，首先通过快速适应（FA）迅速学习新关系，然后通过平衡微调（BT）在均衡的记忆数据上进行微调。尽管结构简单，Fea 在 Fewrel 和 Tacred 数据集上实现了最先进或相当的性能，通过缓解导致灾难性遗忘的数据不平衡和倾斜决策边界问题，优于复杂的基线模型。

ABSTRACT

Continual relation extraction (CRE) requires the model to continually learn new relations from class-incremental data streams. In this paper, we propose a Frustratingly easy but Effective Approach (FEA) method with two learning stages for CRE: 1) Fast Adaption (FA) warms up the model with only new data. 2) Balanced Tuning (BT) finetunes the model on the balanced memory data. Despite its simplicity, FEA achieves comparable (on TACRED or superior (on FewRel) performance compared with the state-of-the-art baselines. With careful examinations, we find that the data imbalance between new and old relations leads to a skewed decision boundary in the head classifiers over the pretrained encoders, thus hurting the overall performance. In FEA, the FA stage unleashes the potential of memory data for the subsequent finetuning, while the BT stage helps establish a more balanced decision boundary. With a unified view, we find that two strong CRE baselines can be subsumed into the proposed training pipeline. The success of FEA also provides actionable insights and suggestions for future model designing in CRE.

研究动机与目标

• 解决由于新旧关系之间数据不平衡导致的持续关系抽取（CRE）中的灾难性遗忘问题。
• 探究尽管架构复杂，最先进 CRE 模型为何仍表现不佳的原因。
• 通过识别提升性能的核心原则，简化现有强基线模型。
• 为未来 CRE 模型提供可操作的设计洞见，尤其在分类器设计和关系区分方面。

提出的方法

• Fea 采用两阶段训练流程：快速适应（FA）仅在新数据上微调模型，以快速学习新兴关系。
• 随后，平衡微调（BT）在下采样后的均衡记忆集上微调模型，该记忆集结合了旧数据和新数据，以减少类别不平衡。
• 该方法避免使用复杂的记忆网络或基于原型的优化，转而专注于数据平衡和顺序训练。
• 该方法通过移除或替换其复杂模块，可被证明是两种强基线模型（EMAR 和 RPCRE）的泛化形式。
• 采用梯度范数分析和错误分析，验证数据不平衡和分类器偏移对性能的影响。
• 对关系原型范数进行归一化，以缓解记忆网络中的注意力偏差，从而提升性能。

实验结果

研究问题

• RQ1 尽管架构复杂，最先进 CRE 模型为何仍会遭受灾难性遗忘？
• RQ2 新旧关系之间的数据不平衡如何影响 CRE 中分类器的决策边界？
• RQ3 简单的两阶段训练策略是否能超越复杂模型在持续关系抽取中的表现？
• RQ4 在多大程度上可通过所提方法的核心原则对现有强基线进行简化与改进？
• RQ5 构建稳健且可泛化的持续关系抽取模型时，哪些设计原则最为有效？

主要发现

• Fea 在 Fewrel 上取得 27.8 F1 的优越性能，在 Tacred 上达到 45.0 F1 的可比结果，优于复杂基线如 EMAR 和 RPCRE。
• 若移除快速适应阶段，Fewrel 和 Tacred 上的性能分别下降 1.4 和 4.1 F1，表明其在缓解遗忘方面具有关键作用。
• 通过平衡记忆数据，EMAR 在 Tacred 上性能提升 1.1 F1，在 Fewrel 上提升 0.4 F1，表明数据不平衡是关键问题。
• RPCRE 中的记忆网络导致注意力偏向高范数原型，并增加相似关系之间的混淆，从而降低性能。
• 对关系原型范数进行归一化，使 RPCRE 在 Fewrel 上准确率提升 0.2 F1，在 Tacred 上提升 1.2 F1，证实了归一化对表征平衡的影响。
• 错误分析显示，RPCRE 将 40.7% 的 'followed by' 实例误分类为 'follow'，而 Fea 仅误分类 30.7%，表明其对相似关系的区分能力更强。