[论文解读] Improving Clinical Document Understanding on COVID-19 Research with Spark NLP

Veysel Kocaman, David Talby|arXiv (Cornell University)|Dec 7, 2020

Machine Learning in Healthcare参考文献 23被引用 4

一句话总结

本文提出了一种基于 Spark NLP 的可扩展、高精度临床 NLP 流水线，通过识别超过 100 种实体类型并检测断言状态（存在、不存在、条件性、他人）实现临床文档理解的改进，在 COVID-19 研究中达到最先进性能。该系统利用预训练的 Bi-LSTM-CNN-Char 模型，并在分布式集群上高效扩展，实现对 CORD-19 数据集的快速、准确结构化洞察提取。

ABSTRACT

Following the global COVID-19 pandemic, the number of scientific papers studying the virus has grown massively, leading to increased interest in automated literate review. We present a clinical text mining system that improves on previous efforts in three ways. First, it can recognize over 100 different entity types including social determinants of health, anatomy, risk factors, and adverse events in addition to other commonly used clinical and biomedical entities. Second, the text processing pipeline includes assertion status detection, to distinguish between clinical facts that are present, absent, conditional, or about someone other than the patient. Third, the deep learning models used are more accurate than previously available, leveraging an integrated pipeline of state-of-the-art pretrained named entity recognition models, and improving on the previous best performing benchmarks for assertion status detection. We illustrate extracting trends and insights, e.g. most frequent disorders and symptoms, and most common vital signs and EKG findings, from the COVID-19 Open Research Dataset (CORD-19). The system is built using the Spark NLP library which natively supports scaling to use distributed clusters, leveraging GPUs, configurable and reusable NLP pipelines, healthcare specific embeddings, and the ability to train models to support new entity types or human languages with no code changes.

研究动机与目标

• 解决从快速增长的非结构化 COVID-19 科学文献中提取可操作临床洞察的挑战。
• 通过识别超过 100 种多样的实体类型（包括健康的社会决定因素和不良事件）超越标准生物医学术语，改进临床文本挖掘。
• 实现一个稳健的断言状态检测系统，能够区分临床事实是否为存在、不存在、条件性或与他人相关。
• 使用 Spark NLP 构建一个可扩展、可投入生产的 NLP 流水线，支持分布式推理和多语言部署，且代码修改极少。
• 展示该流水线在从 CORD-19 数据集中提取有意义趋势（如常见症状、生命体征和心电图发现）方面的实用性。

提出的方法

• 系统采用 Bi-LSTM-CNN-Char 深度学习架构进行命名实体识别（NER），并在临床和生物医学数据集上进行预训练。
• 集成基于 Bi-LSTM 的断言状态检测模块，根据实体与患者的相关性上下文对临床实体进行分类。
• 流水线使用 Spark NLP 库实现，支持在集群上进行分布式处理并利用 GPU 加速。
• 通过使用标注数据进行微调，系统支持零代码扩展至新语言（如德语、西班牙语）和新实体类型。
• 通过在 Spark DataFrames 上串联 NER 和断言检测步骤，构建统一、可组合的 NLP 流水线，实现高效并行执行。
• 在本地和集群部署环境下对 CORD-19 数据集进行基准测试，以衡量处理速度和可扩展性。

实验结果

研究问题

• RQ1 可扩展的 NLP 流水线是否能在非结构化的 COVID-19 文献中识别超过 100 种不同的临床和生物医学实体类型？
• RQ2 断言状态检测的准确度如何区分临床相关状态（如存在、不存在、条件性或他人）？
• RQ3 与单机执行相比，该 Spark NLP 流水线在分布式集群上部署时性能扩展程度如何？
• RQ4 利用结构化、标准化的临床实体及其断言状态，可从 CORD-19 数据集中提取哪些洞察？
• RQ5 该流水线是否能通过极少的代码更改和无需从头开始训练，轻松扩展至新语言和新实体类型？

主要发现

• NER 模型在基准数据集上达到最先进性能，成功识别超过 100 种实体类型，包括健康的社会决定因素、解剖结构、风险因素和不良事件。
• 断言状态检测模型创下新 SOTA 基准，能准确将临床事实分类为存在、不存在、条件性或与他人相关。
• 与单机运行相比，在 10 个节点的集群上运行时，分词速度提升 20 倍，NER 推理速度提升 3.5 倍。
• 该流水线成功从 CORD-19 数据集中提取出有意义的临床趋势，包括常见症状、疾病、生命体征和心电图发现。
• 得益于 Spark NLP 的模块化架构，系统支持零代码扩展至新语言（如德语、西班牙语）和新实体类型，且配置修改极少。
• 将预训练模型集成到可扩展的分布式流水线中，实现了大规模生物医学语料上高效、生产级的临床文本挖掘。