[論文レビュー] Utilizing ChatGPT to Enhance Clinical Trial Enrollment

Georgios Peikos, Symeon Symeonidis+2 more|arXiv (Cornell University)|Jun 3, 2023

Topic Modeling被引用数 4

ひとこと要約

本研究では、非構造化臨床ノートから患者固有の情報を抽出し、適切な臨床試験を特定するための高品質な検索クエリを生成するためにChatGPTを活用する手法を提案する。このアプローチは、最先端の手法および人間が生成したクエリと比較して、検索性能を顕著に向上させ、ChatGPTが患者のプライバシーを保ちながら臨床試験登録の自動化と向上を実現する可能性を示している。

ABSTRACT

Clinical trials are a critical component of evaluating the effectiveness of new medical interventions and driving advancements in medical research. Therefore, timely enrollment of patients is crucial to prevent delays or premature termination of trials. In this context, Electronic Health Records (EHRs) have emerged as a valuable tool for identifying and enrolling eligible participants. In this study, we propose an automated approach that leverages ChatGPT, a large language model, to extract patient-related information from unstructured clinical notes and generate search queries for retrieving potentially eligible clinical trials. Our empirical evaluation, conducted on two benchmark retrieval collections, shows improved retrieval performance compared to existing approaches when several general-purposed and task-specific prompts are used. Notably, ChatGPT-generated queries also outperform human-generated queries in terms of retrieval performance. These findings highlight the potential use of ChatGPT to enhance clinical trial enrollment while ensuring the quality of medical service and minimizing direct risks to patients.

研究の動機と目的

• 臨床試験登録率の低さという課題に対処するために、患者のEHRデータを用いて登録可能な試験を自動的に同定すること。
• ChatGPTのような大規模言語モデルを活用し、非構造化臨床ノートから意味的で構造化された情報を抽出すること。
• より効果的で意味的に豊かなクエリを生成することで、臨床試験検索における検索パフォーマンスを向上させること。
• LLMが生成したクエリが、人間が生成したクエリおよび最先端のAIベースのクエリ生成手法を上回ることを評価すること。
• 情報抽出およびクエリ生成の過程で、患者のプライバシーやデータセキュリティを確保すること。

提案手法

• GPT-3.5モデル（ChatGPT）を用いて非構造化臨床ノートを処理し、疾患、人口統計、家族歴などの患者関連の重要な情報を抽出する。
• 情報抽出およびクエリ作成を強化するため、ロールベースおよびタスク固有のプロンプト（例：IEMT）を含む、特別なプロンプト戦略を設計する。
• 抽出された患者データを、臨床試験検索システム向けの簡潔で意味的に明確な検索クエリに変換する。
• 標準的な検索メトリクス（MAPおよびP@10）を用いて、CLEFおよびTRECなどのベンチマーク検索コレクションを用いてクエリの有効性を評価する。
• BM25およびRM3などの検索モデルを用いて、ChatGPTが生成したクエリのパフォーマンスをベースラインと比較して評価する。
• 患者の機微な情報の保護を確保するため、データの匿名化およびHIPAA準拠を含む、プライバシー保護措置を実施する。

Figure 1: Combining ChatGPT with a negation classification model.

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、非構造化臨床ノートから臨床試験検索を支援するための関連する患者情報を効果的に抽出できるか？
• RQ2 ChatGPTが生成したクエリは、人間が生成したクエリよりも、関連する臨床試験を効果的に検索できるか？
• RQ3 ChatGPTが生成したクエリのパフォーマンスは、最先端のAIベースのクエリ生成手法と比較してどうなるか？
• RQ4 LLMを用いた臨床試験検索において、検索パフォーマンスを最大化するためのプロンプト戦略は何か？
• RQ5 LLMが生成するクエリにおける幻覚、意味的ずれ、誤解釈（例：否定の誤解釈）のリスクは何か、そしてそれらをどのように軽減できるか？

主な発見

• ドメイン固有のロールを割り当てられ、詳細なタスク説明が与えられたIEMTプロンプト戦略は、両方のベンチマークコレクションで検索パフォーマンスを顕著に向上させた。
• ChatGPTが生成したクエリは、最先端のAIベースのクエリ生成手法よりも高い平均平均精度（MAP）およびP@10スコアを達成した。
• ChatGPTが生成したクエリは、検索効果性という観点で人間が生成したクエリを上回り、優れた意味的豊かさと関連性を示した。
• IEMTおよびIEMT+RM3の構成は、検索パフォーマンスにおいて統計的に有意な向上を示し、構造化されたプロンプトの価値を裏付けた。
• ChatGPTは、臨床ノート内の複雑な医学用語や略語を正しく解釈する優れた意味の明確化能力を示した。
• 強力なパフォーマンスを発揮したが、応答を拡張するようプロンプトされた際には、しばしばトピックのずれを生じさせ、否定文を誤解する傾向があり、今後の対策が必要なリスクを示した。