[论文解读] PMC-Patients: A Large-scale Dataset of Patient Summaries and Relations for Benchmarking Retrieval-based Clinical Decision Support Systems

Zhengyun Zhao, Qiao Jin+3 more|arXiv (Cornell University)|Feb 28, 2022

Topic Modeling参考文献 60被引用 10

一句话总结

本文介绍了PMC-Patients，一个大规模、公开可用的数据集，包含167,000份患者摘要，涵盖310万条患者-文献相关性标注以及29.3万条患者-患者相似性标注，数据源自PubMed Central的病例报告。该研究建立了两个基准任务——患者到文献检索（ReCDS-PAR）和患者到患者检索（ReCDS-PPR），并表明即使是最先进的基线模型在ReCDS-PAR上的P@10也仅为16%，在ReCDS-PPR上的P@10仅为6%，凸显了在临床决策支持中改进检索方法的迫切需求。

ABSTRACT

Objective: Retrieval-based Clinical Decision Support (ReCDS) can aid clinical workflow by providing relevant literature and similar patients for a given patient. However, the development of ReCDS systems has been severely obstructed by the lack of diverse patient collections and publicly available large-scale patient-level annotation datasets. In this paper, we aim to define and benchmark two ReCDS tasks: Patient-to-Article Retrieval (ReCDS-PAR) and Patient-to-Patient Retrieval (ReCDS-PPR) using a novel dataset called PMC-Patients. Methods: We extract patient summaries from PubMed Central articles using simple heuristics and utilize the PubMed citation graph to define patient-article relevance and patient-patient similarity. We also implement and evaluate several ReCDS systems on the PMC-Patients benchmarks, including sparse retrievers, dense retrievers, and nearest neighbor retrievers. We conduct several case studies to show the clinical utility of PMC-Patients. Results: PMC-Patients contains 167k patient summaries with 3.1M patient-article relevance annotations and 293k patient-patient similarity annotations, which is the largest-scale resource for ReCDS and also one of the largest patient collections. Human evaluation and analysis show that PMC-Patients is a diverse dataset with high-quality annotations. The evaluation of various ReCDS systems shows that the PMC-Patients benchmark is challenging and calls for further research. Conclusion: We present PMC-Patients, a large-scale, diverse, and publicly available patient summary dataset with the largest-scale patient-level relation annotations. Based on PMC-Patients, we formally define two benchmark tasks for ReCDS systems and evaluate various existing retrieval methods. PMC-Patients can largely facilitate methodology research on ReCDS systems and shows real-world clinical utility.

研究动机与目标

• 为解决当前缺乏多样化、大规模、公开可用的患者级数据集以用于训练和评估基于检索的临床决策支持（ReCDS）系统的问题。
• 定义并建立两个新的基准任务：患者到文献检索（ReCDS-PAR）和患者到患者检索（ReCDS-PPR），用于评估ReCDS系统。
• 提供一个高质量、多样化且可扩展的数据集，以支持ReCDS中的方法研究和临床实用性评估。
• 公开所有数据和代码，以加速临床NLP和信息检索领域的研究与开发。

提出的方法

• 使用简单的启发式方法从PubMed Central的病例报告中提取患者摘要。
• 基于PubMed引用图定义患者-文献相关性，即患者病例与某文献共享引用时，视为相关。
• 通过与相同文献的共同引用关系推断患者-患者相似性，假设共现引用暗示临床相似性。
• 在两个基准任务上实现并评估了稀疏、稠密及最近邻检索模型，以建立基线性能。
• 通过人工评估验证数据集中标注的质量与多样性。
• 在https://github.com/pmc-patients/pmc-patients上完整发布数据集与全部代码，以支持社区研究。

实验结果

研究问题

• RQ1 现有检索模型在为给定患者摘要识别相关临床文献方面的有效性如何？
• RQ2 在医学文献中，基于共享引用推断患者-患者相似性在多大程度上是可靠的？
• RQ3 当前检索方法在大规模、真实世界临床患者检索任务上的性能上限是什么？
• RQ4 PMC-Patients数据集在患者病情和医学专业领域的多样性与临床代表性方面如何？
• RQ5 所提出的基准能否有效捕捉现实临床决策支持场景中的挑战？

主要发现

• PMC-Patients包含167,000份患者摘要，涵盖310万条患者-文献相关性标注和29.3万条患者-患者相似性标注，是同类数据集中规模最大的。
• 人工评估证实该数据集具有多样性，且标注质量高，适用于临床基准测试。
• 最佳基线检索模型在ReCDS-PAR任务上的P@10仅为16%，R@1k为63%，表明仍有巨大改进空间。
• 在ReCDS-PPR任务上，最佳基线模型的P@10为6%，R@1k为80%，表明患者-患者检索仍是极具挑战的问题。
• 案例研究展示了该数据集在通过相关文献和相似患者病例支持现实诊断与治疗决策方面的临床实用性。
• 数据集与代码的发布支持可复现研究，并加速基于检索的临床决策支持领域的创新。