[论文解读] FastRE: Towards Fast Relation Extraction with Convolutional Encoder and Improved Cascade Binary Tagging Framework

Guozheng Li, Xu Chen+3 more|arXiv (Cornell University)|May 5, 2022

Natural Language Processing Techniques被引用 4

一句话总结

FastRE 提出了一种快速、高效的关系抽取模型，采用新颖的空洞卷积编码器（结合门控单元与残差连接），并结合改进的级联二值标签框架（支持类型-关系映射与位置相关自适应阈值设定）。该模型在保持基准数据集上竞争力表现的同时，实现比当前最先进模型快3–10倍的训练速度、7–15倍的推理速度，且参数量仅为后者的1/100。

ABSTRACT

Recent work for extracting relations from texts has achieved excellent performance. However, most existing methods pay less attention to the efficiency, making it still challenging to quickly extract relations from massive or streaming text data in realistic scenarios. The main efficiency bottleneck is that these methods use a Transformer-based pre-trained language model for encoding, which heavily affects the training speed and inference speed. To address this issue, we propose a fast relation extraction model (FastRE) based on convolutional encoder and improved cascade binary tagging framework. Compared to previous work, FastRE employs several innovations to improve efficiency while also keeping promising performance. Concretely, FastRE adopts a novel convolutional encoder architecture combined with dilated convolution, gated unit and residual connection, which significantly reduces the computation cost of training and inference, while maintaining the satisfactory performance. Moreover, to improve the cascade binary tagging framework, FastRE first introduces a type-relation mapping mechanism to accelerate tagging efficiency and alleviate relation redundancy, and then utilizes a position-dependent adaptive thresholding strategy to obtain higher tagging accuracy and better model generalization. Experimental results demonstrate that FastRE is well balanced between efficiency and performance, and achieves 3-10x training speed, 7-15x inference speed faster, and 1/100 parameters compared to the state-of-the-art models, while the performance is still competitive.

研究动机与目标

• 解决现有关系抽取模型依赖计算量大的基于Transformer的预训练语言模型所导致的效率低下问题。
• 在不牺牲性能的前提下降低训练与推理时间，尤其适用于大规模或流式文本数据。
• 通过引入类型-关系映射与自适应阈值设定，改进级联二值标签框架，减少关系冗余并提升泛化能力。
• 在金融与新闻数据处理等真实应用场景中，实现模型效率与性能的更好平衡。

提出的方法

• 设计一种新颖的卷积编码器，利用空洞卷积以指数方式扩展感受野，实现在较少层数下建模长距离依赖。
• 引入门控单元以控制层间信息流动，并通过残差连接缓解深层网络中的梯度消失问题。
• 提出一种类型-关系映射机制，将头实体类型与预定义关系关联，减少不必要的关系预测，加速标签生成。
• 采用基于排名的损失函数，实施位置相关的自适应阈值策略，学习每个句子位置的动态阈值，提升准确率与泛化能力。
• 用所提出的卷积编码器替换CasRel中的BERT编码器，以评估效率与性能之间的权衡。
• 在每个位置使用可学习的阈值机制与Sigmoid激活函数，以平衡训练过程中正负类别样本的贡献。

实验结果

研究问题

• RQ1 轻量级卷积编码器是否能在保持竞争力表现的前提下替代基于Transformer的编码器用于关系抽取？
• RQ2 空洞卷积结合门控单元与残差连接在关系抽取中如何提升效率与表征能力？
• RQ3 类型-关系映射在级联二值标签中在多大程度上减少了关系冗余并加速了推理？
• RQ4 与全局阈值相比，位置相关的自适应阈值是否能提升泛化能力与F1分数？
• RQ5 FastRE在NYT11等无偏基准数据集上的速度、参数效率与泛化能力表现如何，相较于基于BERT的模型？

主要发现

• FastRE相比当前最先进模型，实现3–10倍的训练速度提升与7–15倍的推理速度提升，显著提高效率。
• 模型参数量仅为SOTA模型的1/100，展现出极高的参数效率。
• 在NYT10与NYT11上，FastRE分别取得73.8与56.3的F1分数，表现具有竞争力，与ReRe相当或略低，但推理速度提升20倍。
• 采用自适应阈值使测试F1分数相比全局阈值提升近1%，表明泛化能力更强。
• 在无偏数据集（如NYT11）上表现更优，而在NYT24上性能下降1.8–3.3%，表明模型记忆效应更弱。
• 梯度分析表明，模型关注于实体边界与关系谓词，说明其注意力模式具有实际意义，具备可解释性。