[论文解读] MedDialog: Two Large-scale Medical Dialogue Datasets

Xuehai He, Shu Chen+11 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 5被引用 10

一句话总结

本文介绍了两个大规模医疗对话数据集——MedDialog-EN 和 MedDialog-CN，分别包含 0.3 百万条英文和 1.1 百万条中文患者-医生咨询对话，对应 0.5 百万条和 4 百万条话语。这些数据集源自真实的远程医疗平台，涵盖 96 种和 172 种医学专科，为推进面向远程医疗应用的 AI 驱动医疗对话系统提供了多样化、高质量的训练数据。

ABSTRACT

Medical dialogue systems are promising in assisting in telemedicine to increase access to healthcare services, improve the quality of patient care, and reduce medical costs. To facilitate the research and development of medical dialogue systems, we build two large-scale medical dialogue datasets: MedDialog-EN and MedDialog-CN. MedDialog-EN is an English dataset containing 0.3 million conversations between patients and doctors and 0.5 million utterances. MedDialog-CN is an Chinese dataset containing 1.1 million conversations and 4 million utterances. To our best knowledge, MedDialog-(EN,CN) are the largest medical dialogue datasets to date. The dataset is available at https://github.com/UCSD-AI4H/Medical-Dialogue-System

研究动机与目标

• 为解决当前缺乏大规模、多样化且具有代表性的医疗对话数据集以训练 AI 驱动的医疗对话系统的问题。
• 克服现有数据集规模小、偏向特定疾病或仅限单一语言的局限性。
• 实现跨多种医学专科和患者人口统计特征的、具备医生级别智能的医疗对话系统开发。
• 通过提供公开可用的高质量数据，支持多语言和多专科医疗对话人工智能的研究。
• 通过支持可协助远程患者咨询、监测与干预的虚拟医生，推动远程医疗的发展。

提出的方法

• 从两个国际远程医疗平台爬取真实的患者-医生对话：iCliniq.com（英文）和 Haodf.com（中文）。
• 收集结构化数据，包括患者病史、症状描述、对话轮次和临床建议。
• 通过合并同一说话者连续的话语来预处理对话，以减少噪声并提高连贯性。
• 将数据组织为两个独立的数据集：MedDialog-EN（257,454 条英文对话，514,908 条话语）和 MedDialog-CN（1,145,231 条中文对话，3,959,333 条话语）。
• 通过包含 MedDialog-EN 中的 96 个专科和 MedDialog-CN 中的 172 个细粒度专科，确保广泛的医学专科覆盖。
• 在预处理过程中通过移除个人身份信息，确保数据隐私和匿名化。

实验结果

研究问题

• RQ1 大规模、多样化且多语言的医疗对话数据集是否能显著提升医疗对话系统的性能与泛化能力？
• RQ2 现有医疗对话数据集在多大程度上未能代表医学专科的完整范围和患者群体的多样性？
• RQ3 大规模数据集在多大程度上能帮助医疗对话模型处理各种疾病背景下的复杂多轮交互？
• RQ4 多语言和多民族数据对 AI 驱动的医疗对话代理的鲁棒性与公平性有何影响？
• RQ5 像 MedDialog 这样公开可用的大规模数据集能否加速远程医疗和虚拟健康助手领域的研究与开发？

主要发现

• MedDialog-EN 是迄今为止最大的英文医疗对话数据集，包含 257,454 条患者-医生对话和 514,908 条话语。
• MedDialog-CN 是迄今为止最大的中文医疗对话数据集，包含 1,145,231 条对话和 3,959,333 条话语，覆盖 172 个细粒度医学专科。
• 这些数据集涵盖广泛医学专科，包括心脏病学、肾病学、肿瘤学和全科医学，确保全面覆盖。
• 两个数据集中患者的背景代表了中国 31 个省级行政区和全球多个地区，有效降低人口偏差。
• 这些数据集已公开发布于 https://github.com/UCSD-AI4H/Medical-Dialogue-System，支持开放研究与可复现开发。
• MedDialog-EN 和 MedDialog-CN 显著大于以往数据集，其中 MedDialog-CN 在合并同说话者序列后总话语数超过 340 万条，远超现有基准。