[论文解读] Extraction and Analysis of Clinically Important Follow-up Recommendations in a Large Radiology Dataset

Wilson Lau, Thomas H. Payne+2 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling参考文献 22被引用 11

一句话总结

本文提出了一种基于深度学习的自然语言处理方法，可自动从放射科报告中提取临床重要的随访建议内容，包括原因、检查类型和时间范围。该模型在567份报告的标注语料上进行训练，F1分数分别为0.92（建议句子）、0.84（时间范围）、0.73（检查类型）和0.65（原因），并已应用于超过330万份报告，以分析随访依从性。

ABSTRACT

Communication of follow-up recommendations when abnormalities are identified on imaging studies is prone to error. In this paper, we present a natural language processing approach based on deep learning to automatically identify clinically important recommendations in radiology reports. Our approach first identifies the recommendation sentences and then extracts reason, test, and time frame of the identified recommendations. To train our extraction models, we created a corpus of 567 radiology reports annotated for recommendation information. Our extraction models achieved 0.92 f-score for recommendation sentence, 0.65 f-score for reason, 0.73 f-score for test, and 0.84 f-score for time frame. We applied the extraction models to a set of over 3.3 million radiology reports and analyzed the adherence of follow-up recommendations.

研究动机与目标

• 为解决放射学检查后随访建议沟通中的错误风险。
• 开发一种自动化方法，以识别和提取放射科报告中随访建议的关键组成部分。
• 创建一个高质量、由专家标注的567份放射科报告语料库，用于训练和评估NLP模型。
• 在超过330万份放射科报告中大规模分析随访建议的依从性。

提出的方法

• 采用两阶段深度学习流程：首先识别包含建议的句子，然后提取结构化成分（原因、检查类型、时间范围）。
• 使用序列标注模型，包括基于BERT的架构，实现对建议元素的联合抽取。
• 创建由领域专家标注的567份放射科报告的黄金标准数据集，用于标注建议内容。
• 以F1分数为主要指标，在多个抽取任务中对模型进行训练与评估。
• 将训练好的模型应用于包含330万份放射科报告的真实世界数据集，以评估临床依从性模式。

实验结果

研究问题

• RQ1 NLP模型在放射科报告中识别包含随访建议的句子的准确性如何？
• RQ2 NLP模型在抽取随访建议的具体组成部分（原因、检查类型和时间范围）方面的表现如何？
• RQ3 在大规模放射科数据集中，随访建议的普遍程度如何？存在哪些依从性模式？
• RQ4 放射科报告中的临床建议在多大程度上与既定的随访指南一致？
• RQ5 自动化抽取随访建议是否能支持质量改进和患者安全举措？

主要发现

• 该模型在识别建议句子任务中达到0.92的F1分数，表明其在检测临床相关建议方面表现优异。
• 该模型在提取随访建议的时间范围方面达到0.84的F1分数，显示出在时间信息抽取方面的高准确性。
• 检查类型抽取的F1分数为0.73，表明在识别推荐的影像学检查方式或程序方面表现稳健。
• 原因抽取的F1分数最低，为0.65，表明在识别临床依据方面仍需进一步优化。
• 在330万份报告上的应用实现了对随访依从性的大规模分析，揭示了临床工作流程中的模式以及潜在的医疗缺口。