[论文解读] Extracting Symptoms and their Status from Clinical Conversations

Nan Du, Kai Chen+4 more|arXiv (Cornell University)|Jun 5, 2019

Topic Modeling参考文献 24被引用 9

一句话总结

本文提出了一项新颖的任务，即从临床对话中提取症状及其状态（已经历、未经历或其它），采用两种深度学习模型：分层跨度-属性标记（SA-T）模型和序列到序列（Seq2Seq）模型。在新创建的3,000条去识别化、专业标注的临床对话语料上进行训练，模型的F1分数在0.5至0.8之间，其中SA-T模型表现出更高的精确率，Seq2Seq模型具有更高的召回率，凸显了其在临床文档自动化中的互补优势。

ABSTRACT

This paper describes novel models tailored for a new application, that of extracting the symptoms mentioned in clinical conversations along with their status. Lack of any publicly available corpus in this privacy-sensitive domain led us to develop our own corpus, consisting of about 3K conversations annotated by professional medical scribes. We propose two novel deep learning approaches to infer the symptom names and their status: (1) a new hierarchical span-attribute tagging (\SAT) model, trained using curriculum learning, and (2) a variant of sequence-to-sequence model which decodes the symptoms and their status from a few speaker turns within a sliding window over the conversation. This task stems from a realistic application of assisting medical providers in capturing symptoms mentioned by patients from their clinical conversations. To reflect this application, we define multiple metrics. From inter-rater agreement, we find that the task is inherently difficult. We conduct comprehensive evaluations on several contrasting conditions and observe that the performance of the models range from an F-score of 0.5 to 0.8 depending on the condition. Our analysis not only reveals the inherent challenges of the task, but also provides useful directions to improve the models.

研究动机与目标

• 为应对临床文档工作量对医生日益增长的负担，通过自动化医生-患者对话中的症状提取来缓解压力。
• 定义一项新的信息抽取任务，聚焦于在口语化临床对话中识别症状及其临床状态（已经历、未经历、其它）。
• 为该任务开发并评估两种新颖的深度学习模型——SA-T与Seq2Seq，以应对对话上下文和数据稀疏性的挑战。
• 创建一个公开可用的、高质量的3,000条标注临床对话语料库，以支持未来在临床对话理解方面的研究。
• 建立反映实际临床应用需求的评估指标，包括评分者间一致性以及在不同条件下的性能表现。

提出的方法

• 提出一种分层跨度-属性标记（SA-T）模型，先识别症状跨度，再利用上下文表示对状态进行分类，通过池化跨度表示减少数据稀疏性。
• 设计一种序列到序列模型，从说话人轮次的滑动窗口中解码症状及其状态，实现对分散在多个话语中的证据进行建模。
• 采用课程学习方法进行模型训练，以提升泛化能力，尤其在罕见症状和模糊状态案例上。
• 对3,000条去识别化的临床对话进行了标注，涵盖14个体系统中的186种症状，每种症状均标注了状态（已经历、未经历、其它）。
• 定义了包括未加权和加权F1、精确率与召回率在内的评估指标，并以人工标注的“投票”参考作为对比。
• 在对比条件下开展消融研究，包括使用人工转录与ASR转录进行训练，以分析模型的鲁棒性与失效模式。

实验结果

研究问题

• RQ1 在口语语言复杂性和语境依赖性含义的背景下，深度学习模型在从临床对话中提取症状及其状态方面的表现如何？
• RQ2 训练数据模态（人工转录 vs. ASR转录）对症状与状态提取模型性能有何影响？
• RQ3 在不同症状类型和状态类别下，SA-T与Seq2Seq模型在精确率、召回率和鲁棒性方面的表现如何比较？
• RQ4 人类标注者在症状与状态标注上的一致性如何？这在多大程度上反映了该任务的难度？
• RQ5 哪些语言和对话模式（如证据分散在多个话语中）会导致模型错误？如何改进模型以更好地处理这些情况？

主要发现

• 人工标注者间的一致性（未加权F1 = 0.84）表明，即使由训练有素的医疗记录员执行，症状与状态提取任务本身也具有内在难度。
• SA-T模型实现了未加权F1为0.71，加权F1为0.77，显示出在定义明确的症状跨度上具有较强的精确率与鲁棒性。
• Seq2Seq模型实现了未加权F1为0.70，加权F1为0.79，表现出更高的召回率，并能更好地处理从多个话语中分散上下文推断出的症状。
• 当在人工转录上训练的模型应用于ASR转录时，性能显著下降，加权F1下降约0.14，表明存在显著的领域差距。
• 两种模型在处理如疼痛、疲劳、不适感和睡眠障碍等症状时表现最差，这些症状通常在多个话语中传达，需要上下文推理。
• 错误分析显示，'难以入睡'和'体重减轻/增加'等症状常被遗漏，原因是证据分布在多个话语中，凸显了模型需具备捕捉长距离依赖能力的必要性。