[논문 리뷰] Improving Patient Pre-screening for Clinical Trials: Assisting Physicians with Large Language Models

Danny M. den Hamer, Perry Schoor외 2명|arXiv (Cornell University)|2023. 04. 14.

Artificial Intelligence in Healthcare and Education인용 수 13

한 줄 요약

본 연구는 InstructGPT를 하이브리드 프롬프팅 전략과 함께 사용하여 의사가 임상시험 예비 선별을 도와주고, 의사-루프를 통한 높은 재현율과 검토 기준 축소를 달성합니다.

ABSTRACT

Physicians considering clinical trials for their patients are met with the laborious process of checking many text based eligibility criteria. Large Language Models (LLMs) have shown to perform well for clinical information extraction and clinical reasoning, including medical tests, but not yet in real-world scenarios. This paper investigates the use of InstructGPT to assist physicians in determining eligibility for clinical trials based on a patient's summarised medical profile. Using a prompting strategy combining one-shot, selection-inference and chain-of-thought techniques, we investigate the performance of LLMs on 10 synthetically created patient profiles. Performance is evaluated at four levels: ability to identify screenable eligibility criteria from a trial given a medical profile; ability to classify for each individual criterion whether the patient qualifies; the overall classification whether a patient is eligible for a clinical trial and the percentage of criteria to be screened by physician. We evaluated against 146 clinical trials and a total of 4,135 eligibility criteria. The LLM was able to correctly identify the screenability of 72% (2,994/4,135) of the criteria. Additionally, 72% (341/471) of the screenable criteria were evaluated correctly. The resulting trial level classification as eligible or ineligible resulted in a recall of 0.5. By leveraging LLMs with a physician-in-the-loop, a recall of 1.0 and precision of 0.71 on clinical trial level can be achieved while reducing the amount of criteria to be checked by an estimated 90%. LLMs can be used to assist physicians with pre-screening of patients for clinical trials. By forcing instruction-tuned LLMs to produce chain-of-thought responses, the reasoning can be made transparent to and the decision process becomes amenable by physicians, thereby making such a system feasible for use in real-world scenarios.

연구 동기 및 목표

• 임상시험 적격성 선별에 소요되는 의사 시간 축소를 동기화합니다.
• LLMs가 환자 프로필이 주어졌을 때 시험 텍스트에서 선별 가능한 적격 기준을 식별할 수 있는지 조사합니다.
• LLM 기반 선별의 각 기준 및 각 시험에 대한 분류 성능을 평가합니다.
• 의사-루프가 재현율, 정밀도, 작업 부하 감소에 미치는 영향을 평가합니다.

제안 방법

• One-shot, 선택-추론, 체인-사고(chain-of-thought) 기법을 결합한 프롬프팅을 사용하는 InstructGPT를 사용합니다.
• 10개의 합성으로 작성된 환자 프로필에서 테스트합니다.
• 146건의 임상시험과 4,135개의 적격 기준에 대해 평가합니다.
• 기준 선별 가능 여부 식별, 각 기준의 자격 판정, 전체 시험 적격성, 의사가 검토해야 하는 기준의 비율을 측정합니다.

실험 결과

연구 질문

• RQ1 주어진 환자 프로필에 대해 어떤 적격 기준이 선별 가능한지 LLM이 식별할 수 있나요?
• RQ2 LLM이 각 선별 가능한 기준에 대해 환자가 자격을 얻는지 여부를 분류할 수 있나요?
• RQ3 환자 프로필이 주어졌을 때 시험의 전체 적격성 분류(적격 대 비적격)는 어떻게 되나요?
• RQ4 의사가 검토해야 하는 기준의 수를 줄이면서도 유용한 재현율/정밀도를 유지할 수 있을 만큼의 기준으로 의사에서 LLM으로 재지정할 수 있나요?
• RQ5 사슬 사고(chain-of-thought) 추론을 강제하는 것이 투명성과 실제 의사들의 사용성에 도움이 되나요?

주요 결과

• LLM이 72%의 기준 선별 가능 여부를 정확히 식별했습니다(2,994/4,135).
• LLM이 선별 가능 기준의 72%를 정확히 평가했습니다(341/471).
• 의사-루프 없이 시험 수준의 적격성 재현율은 0.5였습니다.
• 의사-루프를 사용할 경우 시험 수준의 적격성 재현율은 1.0에 도달했고 정밀도는 0.71이며, 검사해야 할 기준의 수가 약 90% 감소했습니다.
• 사슬 사고 응답을 강제하면 추론이 투명해져 현실 세계에서의 실행 가능성을 돕습니다.