[论文解读] A hybrid deep-learning approach for complex biochemical named entity recognition

Jian Liu, Lei Gao+7 more|arXiv (Cornell University)|Dec 20, 2020

Topic Modeling参考文献 31被引用 4

一句话总结

本文提出一种混合深度学习模型，结合 BERT、Bi-LSTM、多头注意力机制和 CRF，以提升复杂生化实体的命名实体识别（NER）性能。该方法显著提高了识别准确率，尤其在缩略词、多义词和低频术语方面，相较于 BILSTM-CRF 在两个基准数据集上分别实现了 80% 和 21.69% 的相对性能提升。

ABSTRACT

Named entity recognition (NER) of chemicals and drugs is a critical domain of information extraction in biochemical research. NER provides support for text mining in biochemical reactions, including entity relation extraction, attribute extraction, and metabolic response relationship extraction. However, the existence of complex naming characteristics in the biomedical field, such as polysemy and special characters, make the NER task very challenging. Here, we propose a hybrid deep learning approach to improve the recognition accuracy of NER. Specifically, our approach applies the Bidirectional Encoder Representations from Transformers (BERT) model to extract the underlying features of the text, learns a representation of the context of the text through Bi-directional Long Short-Term Memory (BILSTM), and incorporates the multi-head attention (MHATT) mechanism to extract chapter-level features. In this approach, the MHATT mechanism aims to improve the recognition accuracy of abbreviations to efficiently deal with the problem of inconsistency in full-text labels. Moreover, conditional random field (CRF) is used to label sequence tags because this probabilistic method does not need strict independence assumptions and can accommodate arbitrary context information. The experimental evaluation on a publicly-available dataset shows that the proposed hybrid approach achieves the best recognition performance; in particular, it substantially improves performance in recognizing abbreviations, polysemes, and low-frequency entities, compared with the state-of-the-art approaches. For instance, compared with the recognition accuracies for low-frequency entities produced by the BILSTM-CRF algorithm, those produced by the hybrid approach on two entity datasets (MULTIPLE and IDENTIFIER) have been increased by 80% and 21.69%, respectively.

研究动机与目标

• 解决在多义性、特殊字符和标签不一致情况下识别复杂生化命名实体的挑战。
• 提升生物医学文本中缩略词、多义词和低频实体的识别准确率。
• 开发一种集成上下文嵌入与序列建模及注意力机制的鲁棒 NER 框架。
• 在公开可用的生化 NER 数据集上超越现有最先进方法的性能。

提出的方法

• 利用 BERT 从输入文本中提取上下文相关的词表示。
• 采用 Bi-LSTM 建模序列依赖关系，捕捉标记序列中的长距离上下文信息。
• 集成多头注意力机制（MHATT），以增强文档或章节级别的表征学习能力。
• 应用条件随机场（CRF）进行序列标签预测，放宽独立性假设。
• 将 BERT、Bi-LSTM、MHATT 和 CRF 整合为统一的端到端深度学习架构。
• 在公开可用的生化 NER 数据集上训练模型，以优化实体识别性能。

实验结果

研究问题

• RQ1 结合 BERT、Bi-LSTM 和多头注意力机制的混合深度学习模型能否提升复杂生化实体的 NER 性能？
• RQ2 与现有方法相比，该模型在识别缩略词方面的表现如何？
• RQ3 该模型在多义词和低频实体识别方面的性能提升程度如何？
• RQ4 将 CRF 与注意力增强的嵌入表示结合，是否能带来优于标准 CRF 或 Bi-LSTM-CRF 设置的序列标注性能？

主要发现

• 该混合模型在两个基准数据集（MULTIPLE 和 IDENTIFIER）上的识别性能均优于最先进方法。
• 在 MULTIPLE 数据集上，该模型相较 BILSTM-CRF 实现了 80% 的低频实体识别准确率相对提升。
• 在 IDENTIFIER 数据集上，该模型相较 BILSTM-CRF 实现了 21.69% 的低频实体识别准确率相对提升。
• 多头注意力机制显著增强了模型解析模糊缩略词的能力。
• CRF 层有效捕捉了长距离依赖关系，并通过放宽独立性假设提升了序列标注性能。
• BERT 与 Bi-LSTM 及 MHATT 的集成，显著提升了上下文表征学习能力，尤其在稀有和复杂实体上表现更优。