[論文レビュー] Improving Patient Pre-screening for Clinical Trials: Assisting Physicians with Large Language Models

Danny M. den Hamer, Perry Schoor+2 more|arXiv (Cornell University)|Apr 14, 2023

Artificial Intelligence in Healthcare and Education被引用数 13

ひとこと要約

本研究は InstructGPT を用い、ハイブリッド prompting 戦略で医師が臨床試験の事前スクリーニングを補助し、医師の介在下で高いリコールを達成するとともに、審査対象となる基準の大幅な削減を実現した。

ABSTRACT

Physicians considering clinical trials for their patients are met with the laborious process of checking many text based eligibility criteria. Large Language Models (LLMs) have shown to perform well for clinical information extraction and clinical reasoning, including medical tests, but not yet in real-world scenarios. This paper investigates the use of InstructGPT to assist physicians in determining eligibility for clinical trials based on a patient's summarised medical profile. Using a prompting strategy combining one-shot, selection-inference and chain-of-thought techniques, we investigate the performance of LLMs on 10 synthetically created patient profiles. Performance is evaluated at four levels: ability to identify screenable eligibility criteria from a trial given a medical profile; ability to classify for each individual criterion whether the patient qualifies; the overall classification whether a patient is eligible for a clinical trial and the percentage of criteria to be screened by physician. We evaluated against 146 clinical trials and a total of 4,135 eligibility criteria. The LLM was able to correctly identify the screenability of 72% (2,994/4,135) of the criteria. Additionally, 72% (341/471) of the screenable criteria were evaluated correctly. The resulting trial level classification as eligible or ineligible resulted in a recall of 0.5. By leveraging LLMs with a physician-in-the-loop, a recall of 1.0 and precision of 0.71 on clinical trial level can be achieved while reducing the amount of criteria to be checked by an estimated 90%. LLMs can be used to assist physicians with pre-screening of patients for clinical trials. By forcing instruction-tuned LLMs to produce chain-of-thought responses, the reasoning can be made transparent to and the decision process becomes amenable by physicians, thereby making such a system feasible for use in real-world scenarios.

研究の動機と目的

• 臨床試験の適格性スクリーニングに要する医師の時間を削減する動機づけ。
• 患者プロファイルが与えられたとき、試験文から審査可能な適格基準をLLMが特定できるかを調査する。
• LLMベースのスクリーニングの基準別および試験別分類性能を評価する。
• 医師の介在がリコール、適合率、作業負荷削減に与える影響を評価する。

提案手法

• one-shot、selection-inference、chain-of-thought 技法を組み合わせた prompting で InstructGPT を使用する。
• 10個の合成患者プロファイルでテストする。
• 146件の臨床試験と4,135件の適格基準を評価する。
• 基準の審査可能性の特定、基準ごとの適格性、全体的な試験適格性、医師の審査を要する基準の割合を測定する。

実験結果

リサーチクエスチョン

• RQ1 LLM は、特定の患者プロファイルに対してどの適格基準が審査可能かを識別できるか。
• RQ2 LLM は各審査可能基準について患者が適格かどうかを分類できるか。
• RQ3 患者プロファイルが与えられたとき、試験の総合的な適格性分類（eligible vs ineligible）はどうなるか。
• RQ4 有用なリコール/精度を維持しつつ、試験の基準のどれだけを医師から LLM に再配分できるか（すなわち審査すべき基準の削減）？
• RQ5 chain-of-thought の推論を強制することは、透明性と医師の実務上の使いやすさを改善するか。

主な発見

• LLM は基準の審査可能性を正しく識別したのは72%（2,994/4,135）である。
• LLM は審査可能な基準の72%（341/471）を正しく評価した。
• 医師の介在なしの試験レベルの適格リコールは0.5だった。
• 医師の介在を伴う場合、試験レベルの適格性のリコールは1.0、精度は0.71に達し、審査対象となる基準の数を約90%削減した。
• chain-of-thought 応答を強制すると推論が透明になり、実務上の実現性を支援した。