[论文解读] Clinical Relation Extraction Using Transformer-based Models

Xi Yang, Zehao Yu+3 more|arXiv (Cornell University)|Jul 19, 2021

Topic Modeling参考文献 62被引用 13

一句话总结

本研究使用2018年MADE1.0和n2c2挑战赛的两个公开数据集，评估了BERT、RoBERTa和XLNet在临床关系抽取中的表现。结果表明，RoBERTa-clinical RE在MADE1.0数据集上达到0.8958的F1分数，XLNet-clinical在n2c2数据集上达到0.9610的F1分数，二分类策略优于多分类策略，并发布了开源模型以推动生物医学NLP的发展。

ABSTRACT

The newly emerged transformer technology has a tremendous impact on NLP research. In the general English domain, transformer-based models have achieved state-of-the-art performances on various NLP benchmarks. In the clinical domain, researchers also have investigated transformer models for clinical applications. The goal of this study is to systematically explore three widely used transformer-based models (i.e., BERT, RoBERTa, and XLNet) for clinical relation extraction and develop an open-source package with clinical pre-trained transformer-based models to facilitate information extraction in the clinical domain. We developed a series of clinical RE models based on three transformer architectures, namely BERT, RoBERTa, and XLNet. We evaluated these models using 2 publicly available datasets from 2018 MADE1.0 and 2018 n2c2 challenges. We compared two classification strategies (binary vs. multi-class classification) and investigated two approaches to generate candidate relations in different experimental settings. In this study, we compared three transformer-based (BERT, RoBERTa, and XLNet) models for relation extraction. We demonstrated that the RoBERTa-clinical RE model achieved the best performance on the 2018 MADE1.0 dataset with an F1-score of 0.8958. On the 2018 n2c2 dataset, the XLNet-clinical model achieved the best F1-score of 0.9610. Our results indicated that the binary classification strategy consistently outperformed the multi-class classification strategy for clinical relation extraction. Our methods and models are publicly available at https://github.com/uf-hobi-informatics-lab/ClinicalTransformerRelationExtraction. We believe this work will improve current practice on clinical relation extraction and other related NLP tasks in the biomedical domain.

研究动机与目标

• 系统评估基于Transformer的模型——BERT、RoBERTa和XLNet——在生物医学领域临床关系抽取中的表现。
• 比较临床关系抽取中二分类与多分类策略的性能差异。
• 在不同实验设置下，探究两种候选关系生成方法的影响。
• 开发并发布开源临床预训练Transformer模型，以支持未来临床NLP研究。
• 通过领域特定的预训练进行迁移学习，提升临床关系抽取的最先进水平。

提出的方法

• 在临床关系抽取任务上微调三种基于Transformer的架构——BERT、RoBERTa和XLNet——并采用领域特定的预训练方法。
• 应用两种分类策略：二分类（有关系 vs. 无关系）和多分类（具体关系类型）。
• 采用两种不同的方法生成候选关系：基于规则的方法和基于神经网络的方法。
• 在两个基准数据集上评估模型：2018年MADE1.0和2018年n2c2临床关系抽取挑战赛数据集。
• 使用标准NLP指标——精确率、召回率和F1分数——对模型进行评估和比较。
• 通过开源包发布训练好的模型和代码，以支持可复现性及进一步研究。

实验结果

研究问题

• RQ1 在临床关系抽取任务中，哪种基于Transformer的模型——BERT、RoBERTa或XLNet——表现最佳？
• RQ2 在临床关系抽取中，二分类是否优于多分类？
• RQ3 不同候选关系生成方法对模型性能有何影响？
• RQ4 与通用领域模型相比，领域特定的预训练Transformer模型是否能提升临床关系抽取性能？
• RQ5 基于Transformer架构的临床关系抽取的最佳配置是什么？

主要发现

• RoBERTa-clinical RE模型在2018年MADE1.0数据集上取得了0.8958的最高F1分数。
• XLNet-clinical模型在2018年n2c2数据集上表现最佳，F1分数达到0.9610。
• 在两个数据集和所有模型架构中，二分类策略均持续优于多分类策略。
• 所提出的模型在两个基准数据集上均表现出最先进性能，表明其在临床NLP中具有强大的泛化能力。
• 开源发布模型和代码，使临床信息抽取领域的更广泛应用和拓展成为可能。
• 本研究证实了领域自适应预训练在临床关系抽取中对Transformer模型的有效性。