[논문 리뷰] PharmacyGPT: The AI Pharmacist

Zhengliang Liu, Zihao Wu외 13명|arXiv (Cornell University)|2023. 07. 19.

Artificial Intelligence in Healthcare and Education인용 수 11

한 줄 요약

PharmacyGPT는 약국 업무를 위해 ChatGPT 및 GPT-4를 조사하며, 동적 프롬프트와 반복 최적화를 사용해 ICU 데이터로부터 환자 군집, 사망률 및 APACHE II 예측, 약물 계획을 생성합니다. 결과는 동적 컨텍스트를 가진 GPT-4가 테스트된 방법들 중 최상의 성능을 보였으며, 주목할 만한 한계가 있음.

ABSTRACT

In this study, we introduce PharmacyGPT, a novel framework to assess the capabilities of large language models (LLMs) such as ChatGPT and GPT-4 in emulating the role of clinical pharmacists. Our methodology encompasses the utilization of LLMs to generate comprehensible patient clusters, formulate medication plans, and forecast patient outcomes. We conduct our investigation using real data acquired from the intensive care unit (ICU) at the University of North Carolina Chapel Hill (UNC) Hospital. Our analysis offers valuable insights into the potential applications and limitations of LLMs in the field of clinical pharmacy, with implications for both patient care and the development of future AI-driven healthcare solutions. By evaluating the performance of PharmacyGPT, we aim to contribute to the ongoing discourse surrounding the integration of artificial intelligence in healthcare settings, ultimately promoting the responsible and efficacious use of such technologies.

연구 동기 및 목표

• LLM(ChatGPT 및 GPT-4)의 약학 관련 작업에서의 능력 탐색.
• 미세 조정 없이 LLM을 임상 약학에 적용하기 위한 동적 프롬프트 및 반복 최적화 개발.
• LLM 임베딩 및 클러스터링을 이용한 해석 가능한 환자 군집 생성.
• ICU 데이터에서 환자 결과 예측 및 약물 계획 생성을 위한 LLM 평가.

제안 방법

• 환자 데이터로부터 1536차원 GPT-3 임베딩을 생성하고 계층적 클러스터링을 적용하여 해석 가능한 환자 군_cluster 생성.
• 모델 출력으로부터의 평가 점수를 기반으로 프롬프트를 업데이트하는 반복 최적화 알고리즘 사용.
• GPT-4/ChatGPT 성능 향상을 위한 다이나믹 컨텍스트 프롬프트 구성 접근법 적용.
• 여러 가지 few-shot 프롬프트 전략(rand_5-shot, freq_5-shot, bcat_rand_5-shot, sim_5-shot 및 GPT-4 변형)을 통한 사망률 및 APACHE II 점수 예측 성능 평가.
• ROUGE-유사 메트릭을 넘어 실용성과 평가 필요성에 대해 전문가 리뷰와의 비교를 통해 GPT-4가 생성한 약물 계획을 평가.

Figure 1 : Interpretable Clusters for real ICU data

실험 결과

연구 질문

• RQ1 LLM이 임베딩과 클러스터링을 사용하여 ICU 데이터로부터 해석 가능한 환자 군집을 생성할 수 있는가?
• RQ2 다이나믹 프롬프트와 적은 예시로 ChatGPT와 GPT-4가 병원 사망률 및 APACHE II 점수를 얼마나 잘 예측하는가?
• RQ3 GPT-4/ChatGPT가 ICU 약물 계획을 생성하는 가능성과 한계는 무엇이며, 이를 어떻게 평가해야 하는가?
• RQ4 모델 미세 조정 없이 반복적 프롬프트 최적화가 LLM 성능을 향상시킬 수 있는가?

주요 결과

모델	정확도	정밀도	재현율	F1 점수
rand_5-shot	0.7549	0.3750	0.7095	0.4898
freq_5-shot	0.6455	0.1667	0.6364	0.2642
bcat_rand_5-shot	0.6602	0.2051	0.7647	0.4262
sim_5-shot	0.6699	0.2821	0.6471	0.3929

• 클러스터링은 ICD-10 카테고리와 전문가 검증 가능성 있는 해석성을 가진 그룹으로 정렬되었다.
• 다이나믹 컨텍스트와 유사 샘플을 가진 GPT-4가 결과 예측에서 테스트된 모델들 중 가장 높은 정확도를 달성하였다.
• 데이터의 불균형(생존 대 사망 9:1)과 소수의 사망 샘플(테스트 세트에서 46)로 인해 사망 예측의 정밀도와 F1이 영향을 받았다.
• APACHE II 점수 예측에서 GPT-4 기반 프롬프트가 다른 접근법들보다 우수하여 첫째 날 데이터의 강력한 관련성을 시사한다.
• GPT-4가 생성한 약물 계획은 약사 전문가의 검토와 ROUGE와 같은 메트릭을 넘어선 새로운 작업 특이 평가 지표가 필요하다.
• 환자 상태의 불균형 및 시간에 따른 변화가 정적 초기 날짜 데이터로부터의 사망 예측 가능성과 평가를 제한한다.

Figure 2 : Uncovering underlying neurological disorders of a group of patients