[論文レビュー] MatchMiner-AI: An Open-Source Solution for Cancer Clinical Trial Matching

Altreuter, Jennifer, Pavel Trukhanov+25 more|arXiv (Cornell University)|Dec 23, 2024

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

MatchMiner-AI は、合成電子歴史記録（EHR）データを用いてがん患者と関連临床試験をマッチングする、オープンソースでプライバシー保護型のAIプラットフォームである。テキスト埋め込みとカスタム分類器を活用し、上位20件の推薦内での関連性が90％に達する。これはベースラインモデルを著しく上回り、本物の機密健康情報を利用せずに強力な臨床的有用性を示している。

ABSTRACT

Background Clinical trials are essential to advancing cancer treatments, yet fewer than 10% of adults with cancer enroll in trials, and many studies fail to meet accrual targets. Artificial intelligence (AI) could improve identification of appropriate trials for patients, but sharing AI models trained on protected health information remains difficult due to privacy restrictions. Methods We developed MatchMiner-AI, an open-source platform for clinical trial search and ranking trained entirely on synthetic electronic health record (EHR) data. The system extracts core clinical criteria from longitudinal EHR text and embeds patient summaries and trial "spaces" (target populations) in a shared vector space for rapid retrieval. It then applies custom text classifiers to assess whether each patient-trial pairing is a clinically reasonable consideration. The pipeline was evaluated on real clinical data. Results Across retrospective evaluations on real EHR data, the fine-tuned pipeline outperformed baseline text-embedding approaches. For trial-enrolled patients, 90% of the top 20 recommended trials were relevant matches (compared to 17% for the baseline model). Similar improvements were noted for patients who received standard-of-care treatments (88% of the top 20 matches were relevant, compared to 14% for baseline). Text classification modules demonstrated strong discrimination (AUROC 0.94-0.98) for evaluating candidate patient-trial space pair eligibility; incorporating these components consistently increased mean average precision to ~ 0.90 across patient- and trial-centric use cases. Synthetic training data, model weights, inference tools, and demonstration frontends are publicly available. Conclusions MatchMiner-AI demonstrates an openly accessible, privacy-preserving approach to distilling a clinical trial matching AI pipeline from LLM-generated synthetic EHR data.

研究の動機と目的

• がん患者における臨床試験参加率の低さに取り組むために、AI駆動のマッチングシステムを開発すること。
• 機密健康情報で訓練されたAIモデルの共有におけるプライバシー的障壁を克服すること。
• 合成EHRデータを用いた、完全にオープンソースで再現可能な臨床試験マッチングパイプラインを構築すること。
• ベースライン埋め込み手法を上回る、患者-試験推薦の正確性と関連性を向上させること。
• 腫瘍学分野の臨床現場でスケーラブルかつプライバシー準拠のソリューションを導入可能にする。

提案手法

• 本システムは、本物の患者データを一切使用せずに、合成EHRデータを生成することで、臨床試験マッチングパイプラインを訓練する。
• 大規模言語モデル（LLM）を用いた処理により、縦断的EHRテキストから核心的な臨床基準を抽出する。
• 患者要約と試験「スペース」（標的対象集団）を共通のベクトル空間に埋め込み、効率的な類似度検索を実現する。
• 臨床的適合性の高い患者-試験ペアを識別するため、カスタムテキスト分類器を微調整する。
• ベクトル類似度による検索とバイナリ分類の組み合わせにより、上位マッチを精緻化する。
• すべてのモデル重み、推論ツール、デモンストレーション用フロントエンドがコミュニティ利用のために公開されている。

実験結果

リサーチクエスチョン

• RQ1 本物の機密健康情報を利用せずに、AI駆動の臨床試験マッチングシステムが高関連性の推薦を達成できるか。
• RQ2 合成EHRデータを用いたリtrieバルと分類パイプラインは、ベースラインの埋め込みのみのモデルに比べて、臨床試験マッチングの正確性で優れているか。
• RQ3 テキスト分類器が、患者-試験適合性評価における平均平均精度（MAP）をどの程度向上できるか。
• RQ4 完全にオープンソースでプライバシー保護型のシステムが、本物のデータで訓練されたモデルと同等の性能を達成できるか。
• RQ5 ベクトル空間検索とルールベースのテキスト分類を組み合わせることで、上位20件の推薦の関連性にどのような影響を与えるか。

主な発見

• 試験参加患者に対しては、上位20件の推薦のうち90％が臨床的に関連性があり、ベースラインモデルではたった17％にとどまった。
• 標準的治療を受けている患者に対しても、上位20件のマッチのうち88％が関連性があり、ベースラインでは14％にとどまった。
• テキスト分類モジュールは、適合性評価における優れた識別性能を示し、AUROCスコアが0.94〜0.98の間であった。
• テキスト分類器の組み込みにより、患者中心および試験中心の両ユースケースで平均平均精度が約0.90に向上した。
• 本システムは、合成EHRデータでのみ訓練されたにもかかわらず、実臨床データを用いて性能が妥当性を確認された。
• 合成トレーニングデータ、モデル重み、推論ツールを含むすべてのコンponentsが、再利用および拡張を目的としてコミュニティに公開されている。