[논문 리뷰] PMC-Patients: A Large-scale Dataset of Patient Summaries and Relations for Benchmarking Retrieval-based Clinical Decision Support Systems

Zhengyun Zhao, Qiao Jin외 3명|arXiv (Cornell University)|2022. 02. 28.

Topic Modeling참고 문헌 60인용 수 10

한 줄 요약

이 논문은 PubMed Central의 사례 보고서에서 추출한 167,000명의 환자 요약과 함께 310만 건의 환자-기사 관련성 및 293,000건의 환자-환자 유사성 annotation을 포함한 대규모 공개 데이터셋인 PMC-Patients를 소개한다. 이는 환자-기사 검색(ReCDS-PAR)과 환자-환자 검색(ReCDS-PPR)이라는 두 가지 벤치마크 과제를 설정하며, 심지어 최상의 기준 모델이라도 ReCDS-PAR에서 P@10이 16%에 불과하고 ReCDS-PPR에서 P@10이 6%에 그쳐, 임상 의사결정 지원을 위한 향상된 검색 방법이 필요함을 시사한다.

ABSTRACT

Objective: Retrieval-based Clinical Decision Support (ReCDS) can aid clinical workflow by providing relevant literature and similar patients for a given patient. However, the development of ReCDS systems has been severely obstructed by the lack of diverse patient collections and publicly available large-scale patient-level annotation datasets. In this paper, we aim to define and benchmark two ReCDS tasks: Patient-to-Article Retrieval (ReCDS-PAR) and Patient-to-Patient Retrieval (ReCDS-PPR) using a novel dataset called PMC-Patients. Methods: We extract patient summaries from PubMed Central articles using simple heuristics and utilize the PubMed citation graph to define patient-article relevance and patient-patient similarity. We also implement and evaluate several ReCDS systems on the PMC-Patients benchmarks, including sparse retrievers, dense retrievers, and nearest neighbor retrievers. We conduct several case studies to show the clinical utility of PMC-Patients. Results: PMC-Patients contains 167k patient summaries with 3.1M patient-article relevance annotations and 293k patient-patient similarity annotations, which is the largest-scale resource for ReCDS and also one of the largest patient collections. Human evaluation and analysis show that PMC-Patients is a diverse dataset with high-quality annotations. The evaluation of various ReCDS systems shows that the PMC-Patients benchmark is challenging and calls for further research. Conclusion: We present PMC-Patients, a large-scale, diverse, and publicly available patient summary dataset with the largest-scale patient-level relation annotations. Based on PMC-Patients, we formally define two benchmark tasks for ReCDS systems and evaluate various existing retrieval methods. PMC-Patients can largely facilitate methodology research on ReCDS systems and shows real-world clinical utility.

연구 동기 및 목표

• 검색 기반 임상 의사결정 지원(ReCDS) 시스템을 훈련하고 평가하기 위한 다양한, 대규모, 공개 가능한 환자 수준의 데이터셋 부족 문제를 해결하기 위해.
• 검색 기반 임상 의사결정 지원(ReCDS) 시스템 평가를 위한 두 가지 새로운 벤치마크 과제인 환자-기사 검색(ReCDS-PAR)과 환자-환자 검색(ReCDS-PPR)을 정의하고 설정하기 위해.
• 메서드올로지 연구 및 임상적 유용성 평가를 지원하는 고품질, 다양한, 확장 가능한 데이터셋을 제공하기 위해.
• 모든 데이터와 코드를 https://github.com/pmc-patients/pmc-patients 에서 공개하여 임상 NLP 및 정보 검색 분야의 연구 및 개발을 가속화하기 위해.

제안 방법

• 환자 요약은 PubMed Central의 사례 보고서에서 단순 히وري스틱을 사용해 환자 기술을 식별함으로써 추출되었다.
• 환자-기사 관련성은 PubMed 인용 그래프를 기반으로 정의되었으며, 환자 사례와 기사 간 공통 인용이 존재할 경우 관련성이 있다고 간주하였다.
• 환자-환자 유사성은 동일한 기사와의 공통 인용을 기반으로 유추되었으며, 공인용이 임상적 유사성을 암시한다고 가정하였다.
• 희소, 밀도, 최근접 이웃 검색 모델을 구현하고 두 벤치마크 과제에서 성능을 평가하여 기준 성능을 확립하였다.
• 데이터셋의 annotation 품질과 다양성을 검증하기 위해 인간 평가를 실시하였다.
• 데이터셋은 전체 코드 및 데이터를 함께 https://github.com/pmc-patients/pmc-patients 에서 공개하여 공동체 연구를 지원하였다.

실험 결과

연구 질문

• RQ1 기존의 검색 모델은 주어진 환자 요약에 대해 관련 임상 기사를 효과적으로 식별할 수 있는가?
• RQ2 의료 문헌에서 공통 인용을 기반으로 환자-환자 유사성을 얼마나 신뢰성 있게 유추할 수 있는가?
• RQ3 현재의 검색 방법은 대규모 실세계 임상 환자 검색 과제에서 어떤 성능 한계에 도달하는가?
• RQ4 PMC-Patients 데이터셋은 환자 상태와 의료 전문 분야 측면에서 얼마나 다양하고 임상적으로 대표적인가?
• RQ5 제안된 벤치마크는 실세계 임상 의사결정 지원 시나리오의 과제를 효과적으로 반영하는가?

주요 결과

• PMC-Patients는 167,000명의 환자 요약, 310만 건의 환자-기사 관련성 annotation, 293,000건의 환자-환자 유사성 annotation을 포함하며, 이는 유사한 종류의 최대 규모 데이터셋이다.
• 인간 평가를 통해 데이터셋이 다양하고 고품질의 annotation을 포함하고 있음을 확인하였으며, 임상 벤치마킹에 적합하다.
• 최상의 기준 검색 모델은 ReCDS-PAR 과제에서 P@10이 16%에 불과하고 R@1k가 63%에 그쳐 향상 여지가 크다는 것을 시사한다.
• ReCDS-PPR 과제에서는 최상의 기준 모델이 P@10이 6%에 불과하고 R@1k가 80%에 이르며, 환자-환자 검색이 여전히 도전적인 문제임을 보여준다.
• 사례 연구를 통해 관련 문헌과 유사한 환자 사례를 기반으로 실제 진단 및 치료 결정을 지원하는 데 데이터셋의 임상적 유용성이 입증되었다.
• 데이터셋과 코드의 공개는 재현 가능한 연구를 가능하게 하며, 검색 기반 임상 의사결정 지원 분야의 혁신을 가속화한다.