[论文解读] Fast Prototyping a Dialogue Comprehension System for Nurse-Patient Conversations on Symptom Monitoring

Zhengyuan Liu, Hazel Lim+10 more|arXiv (Cornell University)|Mar 8, 2019

Topic Modeling参考文献 27被引用 4

一句话总结

本文提出了一种用于护士-患者症状监测对话理解系统的快速原型框架，仅使用极少的真实对话。通过模拟具有语言真实感的人际口语对话（如话题漂移、自言自语和自我矛盾），在合成数据上训练双向注意力指针网络，实现在真实世界护士-患者对话上的80.18% F1分数，证明了在数据有限条件下临床信息抽取的可行性。

ABSTRACT

Data for human-human spoken dialogues for research and development are currently very limited in quantity, variety, and sources; such data are even scarcer in healthcare. In this work, we investigate fast prototyping of a dialogue comprehension system by leveraging on minimal nurse-to-patient conversations. We propose a framework inspired by nurse-initiated clinical symptom monitoring conversations to construct a simulated human-human dialogue dataset, embodying linguistic characteristics of spoken interactions like thinking aloud, self-contradiction, and topic drift. We then adopt an established bidirectional attention pointer network on this simulated dataset, achieving more than 80% F1 score on a held-out test set from real-world nurse-to-patient conversations. The ability to automatically comprehend conversations in the healthcare domain by exploiting only limited data has implications for improving clinical workflows through red flag symptom detection and triaging capabilities. We demonstrate the feasibility for efficient and effective extraction, retrieval and comprehension of symptom checking information discussed in multi-turn human-human spoken conversations.

研究动机与目标

• 为解决医疗领域中，特别是人际互动场景下，标注的、大规模的口语对话数据稀缺的问题。
• 开发一种可行且数据高效的自动理解护士与患者之间症状监测对话的方法。
• 模拟具有语言真实感的口语对话，捕捉关键特征如话题漂移、自言自语和回指现象，以用于训练。
• 构建一个能够从多轮口语对话中提取临床相关症状属性的问答系统原型。
• 在模拟训练数据与真实世界数据存在分布差异的情况下，评估模型在真实世界护士-患者对话中的性能。

提出的方法

• 使用经临床验证的模板构建模拟的人际对话数据集，灵感源自护士发起的症状监测对话。
• 引入口语对话的语言特征，包括话题漂移、自言自语、自我矛盾和零回指，以增强真实感。
• 采用双向注意力指针网络作为核心问答模型，基于与症状相关的问题从多轮对话中提取答案。
• 使用预训练的GloVe词嵌入和双向注意力机制，以提升上下文建模和答案跨度预测能力。
• 在不同规模的合成数据（10k至150k样本）上训练模型，并在分布内、分布外及真实世界测试集上评估泛化能力。
• 通过移除双向注意力和预训练词嵌入进行消融研究，以评估其对性能的贡献。

实验结果

研究问题

• RQ1 仅使用极少的真实世界护士-患者对话，能否有效原型化对话理解系统？
• RQ2 在模拟口语对话上训练的模型，能否泛化到真实世界中自然发生的护士-患者对话？
• RQ3 话题漂移、自言自语和回指等语言现象在多大程度上影响对话理解模型的性能？
• RQ4 关键架构组件——双向注意力机制和预训练词嵌入——对模型性能有何影响？
• RQ5 在真实环境中，模型如何处理分布外症状以及非临床话语（如闲聊）？

主要发现

• 表现最佳的模型在保留的真实世界护士-患者对话测试集上达到80.18%的F1分数，尽管存在数据分布差异，仍表现出强大的泛化能力。
• 随着训练数据规模增加，性能提升，在10万样本时达到峰值，基础评估集F1为94.17%，增强集F1为85.69%。
• 模型在分布外症状上保持了较强的性能，表明对未见症状表达具有鲁棒性。
• 消融研究显示，移除双向注意力使F1下降约10%，而移除预训练词嵌入则导致真实世界数据上性能下降18%。
• 错误分析表明，表达池稀疏性、真实对话中的闲聊内容，以及症状之间的因果性阐述是性能下降的主要原因。
• 模型在真实世界对话中实现了78.23%的精确匹配和80.18%的F1分数，表明其在临床工作流支持中的实际可行性。