[论文解读] CliNER 2.0: Accessible and Accurate Clinical Concept Extraction

Willie Boag, Elena Sergeeva+4 more|arXiv (Cornell University)|Mar 6, 2018

Biomedical Text Mining and Ontologies参考文献 9被引用 21

一句话总结

CliNER 2.0 是一款开源、易于安装的临床概念抽取工具，采用词级与字符级LSTM-CRF模型，在i2b2/VA 2010基准上实现了最先进性能。其F1得分为0.838，与顶尖系统持平或超越，同时提供预训练模型以实现开箱即用，并在低资源环境下支持轻量级CRF模式。

ABSTRACT

Clinical notes often describe important aspects of a patient's stay and are therefore critical to medical research. Clinical concept extraction (CCE) of named entities - such as problems, tests, and treatments - aids in forming an understanding of notes and provides a foundation for many downstream clinical decision-making tasks. Historically, this task has been posed as a standard named entity recognition (NER) sequence tagging problem, and solved with feature-based methods using handengineered domain knowledge. Recent advances, however, have demonstrated the efficacy of LSTM-based models for NER tasks, including CCE. This work presents CliNER 2.0, a simple-to-install, open-source tool for extracting concepts from clinical text. CliNER 2.0 uses a word- and character- level LSTM model, and achieves state-of-the-art performance. For ease of use, the tool also includes pre-trained models available for public use.

研究动机与目标

• 为解决尽管在共享任务中已有高性能系统，但临床概念抽取（CCE）工具仍缺乏可访问性和开源性的问题。
• 开发一款用户友好、易于安装的工具，使其在i2b2/VA 2010 CCE基准测试中达到或超越最先进性能。
• 通过聚焦于相关临床概念（如疾病、检查和治疗）而非依赖字典查找过度识别，以减少误报。
• 提供预训练模型，实现无需微调即可立即部署，提升研究人员的使用便捷性。
• 支持深度学习与轻量级CRF推理模式，以适应不同计算环境下的灵活性需求。

提出的方法

• 采用分层的词级与字符级双向LSTM（w+c Bi-LSTM）生成丰富且上下文感知的词表示。
• 使用预训练的GloVe词嵌入作为词级表示，并结合字符级LSTM输出以捕捉词形与拼写变体。
• 在输入Bi-LSTM-CRF序列标注框架前，将词级与字符级表示进行拼接，以实现跨度检测与分类。
• 支持两种推理模式：深度w+c LSTM-CRF模型与基于UMLS特征的轻量级CRF模型，适用于计算资源受限的场景。
• 利用i2b2/VA 2010数据集（16,107个句子）进行训练与评估，以精确匹配类作为主要指标。
• 在深度学习架构中应用dropout与批量归一化，以提升泛化能力并减少过拟合。

实验结果

研究问题

• RQ1 基于深度学习的临床概念抽取系统是否能在保持可访问性与易部署性的同时，实现最先进性能？
• RQ2 与传统基于特征的CRF模型相比，词级与字符级LSTM-CRF模型在F1分数以及对未登录词与拼写错误词的鲁棒性方面表现如何？
• RQ3 预训练模型在多大程度上降低了无大规模训练数据或计算资源的研究人员的入门门槛？
• RQ4 与仅使用词级表示的模型相比，集成字符级表示是否能提升对罕见或拼写错误临床术语的性能？
• RQ5 单一工具是否能够同时支持高精度深度学习推理与轻量级CRF推理，以适应多样化的部署环境？

主要发现

• CliNER 2.0的w+c LSTM-CRF模型在i2b2/VA 2010测试集上取得0.838的F1分数，与2010年共享任务中的顶尖系统持平或超越。
• 该模型召回率达到0.836，是基于官方2010年i2b2数据集训练的系统中报告的最高召回值。
• 与先前最先进模型——二值化神经嵌入CRF（F1为0.828）相比，该模型以微小但一致的差距实现性能提升。
• 该工具的预训练模型可实现无需微调的即时推理，显著降低了临床NLP应用的使用门槛。
• 在低资源环境下，基于UMLS特征的降级CRF模式也取得了具有竞争力的表现（F1: 0.795），为资源受限场景提供了可行方案。
• 近期模型性能趋于平稳，表明该任务在i2b2/VA 2010数据集上可能已接近性能上限。