[논문 리뷰] MatchMiner-AI: An Open-Source Solution for Cancer Clinical Trial Matching

Altreuter, Jennifer, Pavel Trukhanov외 25명|arXiv (Cornell University)|2024. 12. 23.

Biomedical Text Mining and Ontologies인용 수 4

한 줄 요약

MatchMiner-AI는 실재 보호된 건강정보를 사용하지 않고도 개인정보를 보호하는 오픈소스 AI 플랫폼으로, 합성 전자건강기록(EHR) 데이터를 활용해 암 환자를 관련 임상시험과 매칭합니다. 텍스트 임bedding과 맞춤형 분류기들을 활용해 시험-환자 쌍의 순위를 매기며, 상위 20개 추천 항목 중 90%가 관련성이 높은 것으로 나타났으며, 기준 모델보다 유의미하게 뛰어난 성능을 보였습니다. 이는 실제 보호된 건강정보를 사용하지 않고도 임상적 유용성이 높음을 입증합니다.

ABSTRACT

Background Clinical trials are essential to advancing cancer treatments, yet fewer than 10% of adults with cancer enroll in trials, and many studies fail to meet accrual targets. Artificial intelligence (AI) could improve identification of appropriate trials for patients, but sharing AI models trained on protected health information remains difficult due to privacy restrictions. Methods We developed MatchMiner-AI, an open-source platform for clinical trial search and ranking trained entirely on synthetic electronic health record (EHR) data. The system extracts core clinical criteria from longitudinal EHR text and embeds patient summaries and trial "spaces" (target populations) in a shared vector space for rapid retrieval. It then applies custom text classifiers to assess whether each patient-trial pairing is a clinically reasonable consideration. The pipeline was evaluated on real clinical data. Results Across retrospective evaluations on real EHR data, the fine-tuned pipeline outperformed baseline text-embedding approaches. For trial-enrolled patients, 90% of the top 20 recommended trials were relevant matches (compared to 17% for the baseline model). Similar improvements were noted for patients who received standard-of-care treatments (88% of the top 20 matches were relevant, compared to 14% for baseline). Text classification modules demonstrated strong discrimination (AUROC 0.94-0.98) for evaluating candidate patient-trial space pair eligibility; incorporating these components consistently increased mean average precision to ~ 0.90 across patient- and trial-centric use cases. Synthetic training data, model weights, inference tools, and demonstration frontends are publicly available. Conclusions MatchMiner-AI demonstrates an openly accessible, privacy-preserving approach to distilling a clinical trial matching AI pipeline from LLM-generated synthetic EHR data.

연구 동기 및 목표

• 암 환자에서 낮은 임상시험 참가율 문제를 해결하기 위해 AI 기반 매칭 시스템을 개발하기 위해.
• 보호된 건강정보를 기반으로 훈련된 AI 모델을 공유하는 데 있어 개인정보 보호 장벽을 극복하기 위해.
• 합성 EHR 데이터를 활용한 완전히 오픈소스이자 재현 가능한 임상시험 매칭 파이프라인을 구축하기 위해.
• 기본 임bedding 방법을 초월해 환자-시험 추천의 정확성과 관련성 향상을 위해.
• 온코로지 임상시험 매칭에 대해 확장 가능하고 개인정보 준수 기반의 솔루션을 임상 현장에 구현할 수 있도록 하기 위해.

제안 방법

• 시스템은 실제 환자 데이터를 사용하지 않고도 합성 EHR 데이터를 생성하여 임상시험 매칭 파이프라인을 훈련합니다.
• 대규모 언어모델(LLM) 기반 처리를 통해 종단적 EHR 텍스트에서 핵심 임상 기준을 추출합니다.
• 환자 요약문과 시험 '공간'(대상 환자군)을 동일한 벡터 공간에 매핑하여 효율적인 유사도 검색을 수행합니다.
• 환자-시험 쌍의 임상적 자격 여부 평가를 위해 고도로 분류 능력을 갖춘 맞춤형 텍스트 분류기를 미세조정합니다.
• 벡터 유사도 기반 검색과 이진 분류를 조합하여 상위 순위 매칭을 정밀하게 개선합니다.
• 모델 가중치, 추론 도구, 데모용 프론트엔드 등 모든 구성 요소를 커뮤니티 사용을 위해 공개합니다.

실험 결과

연구 질문

• RQ1 실제 보호된 건강정보를 사용하지 않고도 AI 기반 임상시험 매칭 시스템이 높은 관련성의 추천을 달성할 수 있는가?
• RQ2 합성 EHR 데이터를 사용한 검색-분류 파이프라인은 기존의 임bedding 전용 모델 대비 임상시험 매칭 정확도에서 어떻게 비교되는가?
• RQ3 텍스트 분류기가 환자-시험 쌍 자격 평가에서 평균 평균 정밀도를 얼마나 향상시킬 수 있는가?
• RQ4 완전히 오픈소스이자 개인정보 보호 기반의 시스템이 실제 데이터 기반 모델과 유사한 성능을 달성할 수 있는가?
• RQ5 벡터 공간 기반 검색과 규칙 기반 텍스트 분류의 조합이 상위 20개 추천 항목의 관련성에 어떤 영향을 미치는가?

주요 결과

• 시험에 등록된 환자 대상으로 상위 20개 추천 중 90%가 임상적으로 관련성이 있었으며, 기준 모델 대비 17%에 그쳤습니다.
• 기본 치료를 받는 환자 대상으로 상위 20개 매칭 중 88%가 관련성이 있었고, 기준 모델 대비 14%였습니다.
• 텍스트 분류 모듈은 AUROC 점수 0.94에서 0.98 사이를 기록하여 자격 평가에서 강력한 분류 능력을 입증했습니다.
• 텍스트 분류기 통합으로 환자 중심 및 시험 중심 사용 케이스 모두에서 평균 평균 정밀도가 약 0.90으로 향상되었습니다.
• 시스템은 합성 EHR 데이터로만 훈련되었음에도 불구하고 실제 임상 데이터를 활용해 성능이 검증되었습니다.
• 합성 훈련 데이터, 모델 가중치, 추론 도구 등 모든 구성 요소가 재사용 및 확장 가능하도록 공개되어 있습니다.