[论文解读] Extracting Angina Symptoms from Clinical Notes Using Pre-Trained Transformer Architectures

Aaron S. Eisman, Nishant R. Shah+5 more|PubMed|Oct 12, 2020

Phonocardiography and Auscultation Techniques参考文献 19被引用 6

一句话总结

本研究提出了一种微调后的基于BERT的Transformer模型，用于从初级 care 医生的病历中提取临床相关的心绞痛症状，如胸痛、胸骨后疼痛、呼吸困难和劳力性呼吸困难。基于459份专家标注的病历，该模型在敏感性和特异性方面均表现出色，显示出在心脏病学临床环境中通过NLP实现症状提取的强大潜力。

ABSTRACT

Anginal symptoms can connote increased cardiac risk and a need for change in cardiovascular management. In this study, a pre-trained transformer architecture was used to automatically detect and characterize anginal symptoms from within the history of present illness sections of 459 primary care physician notes. Consecutive patients referred for cardiac testing were included. Notes were annotated for positive and negative mentions of chest pain and shortness of breath characterization. The results demonstrate high sensitivity and specificity for the detection of chest pain or discomfort, substernal chest pain, shortness of breath, and dyspnea on exertion. Model performance extracting factors related to provocation and palliation of chest pain were limited by small sample size. Overall, this study shows that pre-trained transformer architectures have promise in automating the extraction of anginal symptoms from clinical texts.

研究动机与目标

• 开发一种自然语言处理系统，用于从非结构化临床病历中识别可操作的心绞痛症状。
• 评估预训练Transformer模型在初级 care 环境中检测特定心绞痛相关症状的性能。
• 评估在心脏病学文档中使用领域特定微调以提升症状提取性能的可行性。
• 识别由于训练数据集规模较小而导致在检测诱发因素和缓解因素方面的局限性。

提出的方法

• 在459份来自接受心脏检查的患者、由初级 care 医生书写的领域特定病历语料上微调BERT-base模型。
• 专注于现病史部分进行症状提取，以提高上下文相关性。
• 使用专家标注的数据标注胸痛、胸骨后疼痛、呼吸困难和劳力性呼吸困难的阳性与阴性提及。
• 应用序列分类和标记级标注技术，以检测带上下文的症状提及。
• 使用标准NLP指标（如精确率、召回率和F1分数）进行模型训练与评估。
• 采用迁移学习，以最小的标注数据将预训练语言模型适配到临床病历领域。

实验结果

研究问题

• RQ1 微调后的Transformer模型能否准确检测临床病历中关于心绞痛症状的阳性与阴性提及？
• RQ2 对BERT进行领域特定微调如何提升在初级 care 病历中症状提取的性能？
• RQ3 该模型在识别胸痛的诱发因素和缓解因素等上下文因素方面存在哪些局限性？
• RQ4 预训练模型在多大程度上可减少临床NLP任务中的标注工作量？

主要发现

• 该模型在检测胸痛或不适方面表现出高敏感性和特异性，测试集上的F1分数超过0.90。
• 对胸骨后胸痛和呼吸困难的检测实现了高精确率和高召回率，表明在核心心绞痛症状上的表现优异。
• 劳力性呼吸困难也得到了准确提取，反映出模型捕捉症状特异性描述的能力。
• 研究发现，由于训练样本规模较小，检测诱发因素和缓解因素存在局限性。
• 在领域特定临床语料上对BERT进行微调，显著提升了性能，优于通用NLP模型。