[论文解读] MatchMiner-AI: An Open-Source Solution for Cancer Clinical Trial Matching

Altreuter, Jennifer, Pavel Trukhanov+25 more|arXiv (Cornell University)|Dec 23, 2024

Biomedical Text Mining and Ontologies被引用 4

一句话总结

MatchMiner-AI 是一个开源、保护隐私的AI平台，利用合成电子健康记录（EHR）数据将癌症患者与相关临床试验相匹配。它利用文本嵌入和自定义分类器，对试验-患者配对进行排序，在前20名推荐中达到90%的相关性，显著优于基线模型，展示了强大的临床实用性，且未使用真实的受保护健康数据。

ABSTRACT

Background Clinical trials are essential to advancing cancer treatments, yet fewer than 10% of adults with cancer enroll in trials, and many studies fail to meet accrual targets. Artificial intelligence (AI) could improve identification of appropriate trials for patients, but sharing AI models trained on protected health information remains difficult due to privacy restrictions. Methods We developed MatchMiner-AI, an open-source platform for clinical trial search and ranking trained entirely on synthetic electronic health record (EHR) data. The system extracts core clinical criteria from longitudinal EHR text and embeds patient summaries and trial "spaces" (target populations) in a shared vector space for rapid retrieval. It then applies custom text classifiers to assess whether each patient-trial pairing is a clinically reasonable consideration. The pipeline was evaluated on real clinical data. Results Across retrospective evaluations on real EHR data, the fine-tuned pipeline outperformed baseline text-embedding approaches. For trial-enrolled patients, 90% of the top 20 recommended trials were relevant matches (compared to 17% for the baseline model). Similar improvements were noted for patients who received standard-of-care treatments (88% of the top 20 matches were relevant, compared to 14% for baseline). Text classification modules demonstrated strong discrimination (AUROC 0.94-0.98) for evaluating candidate patient-trial space pair eligibility; incorporating these components consistently increased mean average precision to ~ 0.90 across patient- and trial-centric use cases. Synthetic training data, model weights, inference tools, and demonstration frontends are publicly available. Conclusions MatchMiner-AI demonstrates an openly accessible, privacy-preserving approach to distilling a clinical trial matching AI pipeline from LLM-generated synthetic EHR data.

研究动机与目标

• 通过开发基于AI的匹配系统，解决癌症患者临床试验入组率低的问题。
• 克服在使用受保护健康信息训练的AI模型时存在的隐私障碍。
• 创建一个完全开源、可复现的临床试验匹配流程，使用合成EHR数据。
• 在基线嵌入方法的基础上，提高患者-试验推荐的准确性和相关性。
• 实现在临床环境中可扩展、符合隐私合规要求的肿瘤学临床试验匹配解决方案的部署。

提出的方法

• 该系统生成合成EHR数据，以在不使用真实患者数据的情况下训练临床试验匹配流程。
• 利用基于大语言模型（LLM）的处理方法，从纵向EHR文本中提取核心临床标准。
• 将患者摘要和试验“空间”（目标人群）嵌入共享向量空间，以实现高效的相似性检索。
• 微调自定义文本分类器，以高区分度评估患者-试验配对的临床资格。
• 该流程结合向量相似性检索与二值分类，以优化排名靠前的匹配结果。
• 所有模型权重、推理工具和演示前端均已公开发布，供社区使用。

实验结果

研究问题

• RQ1 基于AI的临床试验匹配系统是否能在不使用真实受保护健康数据的情况下，实现高相关性的推荐？
• RQ2 使用合成EHR数据的检索-分类流程在临床试验匹配准确性方面，与仅使用嵌入的基线模型相比如何？
• RQ3 文本分类器在多大程度上能提升患者-试验配对资格评估的平均平均精度（MAP）？
• RQ4 完全开源、保护隐私的系统是否能达到与基于真实数据训练的模型相当的性能？
• RQ5 将向量空间检索与基于规则的文本分类相结合，对前20名推荐的相关性有何影响？

主要发现

• 对于已入组临床试验的患者，90%的前20名推荐试验具有临床相关性，而基线模型仅为17%。
• 对于接受标准治疗的患者，88%的前20名匹配结果具有相关性，而基线模型仅为14%。
• 文本分类模块的AUROC得分在0.94至0.98之间，表明在资格评估中具有强大的区分能力。
• 引入文本分类器后，患者和试验为中心的两种使用场景下的平均平均精度均提升至约0.90。
• 尽管系统仅基于合成EHR数据训练，其性能已在真实临床数据上得到验证。
• 所有组件，包括合成训练数据、模型权重和推理工具，均已公开，可供重用和扩展。