[논문 리뷰] Large Language Models Illuminate a Progressive Pathway to Artificial Healthcare Assistant: A Review

Mingze Yuan, Peng Bao외 9명|arXiv (Cornell University)|2023. 11. 03.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 리뷰는 대규모 언어 모델(Large Language Models, LLMs)이 헬스케어 분야에서 유의미한 전환 가능성을 지닌다는 점을 탐구하며, 임상 의사결정 지원, 지식 검색, 워크플로우 자동화 등 응용 사례를 제시한다. 다양한 의료 데이터를 통합하는 다중모달 LLMs와 복잡한 추론을 수행하는 자율 에이전트의 역할을 강조하면서도, 임상 현장에서의 안전성과 신뢰성 확보를 위해 윤리적 감시와 지속적인 최적화의 필요성을 언급한다.

ABSTRACT

With the rapid development of artificial intelligence, large language models (LLMs) have shown promising capabilities in mimicking human-level language comprehension and reasoning. This has sparked significant interest in applying LLMs to enhance various aspects of healthcare, ranging from medical education to clinical decision support. However, medicine involves multifaceted data modalities and nuanced reasoning skills, presenting challenges for integrating LLMs. This paper provides a comprehensive review on the applications and implications of LLMs in medicine. It begins by examining the fundamental applications of general-purpose and specialized LLMs, demonstrating their utilities in knowledge retrieval, research support, clinical workflow automation, and diagnostic assistance. Recognizing the inherent multimodality of medicine, the review then focuses on multimodal LLMs, investigating their ability to process diverse data types like medical imaging and EHRs to augment diagnostic accuracy. To address LLMs' limitations regarding personalization and complex clinical reasoning, the paper explores the emerging development of LLM-powered autonomous agents for healthcare. Furthermore, it summarizes the evaluation methodologies for assessing LLMs' reliability and safety in medical contexts. Overall, this review offers an extensive analysis on the transformative potential of LLMs in modern medicine. It also highlights the pivotal need for continuous optimizations and ethical oversight before these models can be effectively integrated into clinical practice. Visit https://github.com/mingze-yuan/Awesome-LLM-Healthcare for an accompanying GitHub repository containing latest papers.

연구 동기 및 목표

• 일반 목적 및 전문화된 LLMs가 의료 지식 검색, 연구 지원, 임상 워크플로우 자동화 분야에서 현재 어떻게 활용되고 있는지 분석하기.
• 이질적인 의료 데이터(영상, 전자건강기록(EHR), 유전체 등)를 처리하는 다중모달 LLMs의 역할을 조사하여 진단 정확도 향상에 기여하는 방식을 밝히기.
• LLM 기반 자율 에이전트의 새로운 응용 사례를 살펴보며 개인화되고 복잡한 임상 추론을 지원하는 데서의 잠재력을 분석하기.
• 의료 환경에서 LLM의 신뢰성, 안전성, 윤리적 준수 여부를 평가하는 기존 평가 방법론을 평가하기.
• 허구적 발현, 편향, 투명성 부족 등의 주요 제한 요소를 식별하고, 안전한 임상 적용을 위해 지속적인 최적화와 윤리적 감시의 필요성을 주장하기.

제안 방법

• 의료 분야에서 LLM 응용에 관한 동료 심사 논문을 대상으로 한 체계적 리뷰로서, 임상 의사결정 지원, 지식 기반, 다중모달 데이터 통합에 중점을 둔다.
• LLM 응용 사례를 지식 검색, 연구 지원, 임상 워크플로우 자동화, 진단 지원의 네 영역으로 분류한다.
• 병리, 영상의학, 유전체, 전자건강기록(EHR)에서 유래한 데이터를 처리하고 상관관계를 분석하는 다중모달 LLM의 분석을 통해 진단 추론 능력을 향상시킨다.
• 기억, 계획, 프로필 관리, 작업 실행 등의 구성 요소를 통합한 LLM 기반 자율 에이전트의 검토를 통해 임상 과제를 수행한다.
• USMLE와 같은 벤치마크를 활용하여 사실 정확도, 안전성, 공정성, 임상 유용성 측면에서 LLM 성능을 평가하는 평가 프레임워크의 통합을 수행한다.
• 허구적 발현, 데이터 편향, 모델 출력의 해석 불가능성 등의 제한 요소를 비판적으로 분석하여 주요 과제를 규명한다.

실험 결과

연구 질문

• RQ1 일반 목적 및 전문화된 LLMs는 어떤 방식으로 의료 환경에서 임상 의사결정, 연구 활동, 워크플로우 효율성을 향상시키는가?
• RQ2 다중모달 LLMs는 영상, EHR, 유전체 등 다양한 의료 데이터 유형을 얼마나 잘 통합하여 진단 정확도를 향상시킬 수 있는가?
• RQ3 LLM 기반 자율 에이전트는 정적 프롬프트 기반 상호작용을 넘어서 복잡하고 개인화된 임상 추론을 효과적으로 지원할 수 있는가?
• RQ4 의료 응용 분야에서 LLM의 신뢰성, 안전성, 윤리적 준수 여부를 평가하는 데 현재 어떤 방법론이 사용되고 있는가?
• RQ5 주요 제한 요소(허구적 발현, 편향, 투명성 부족 등)는 무엇이며, 안전한 임상 적용을 위해 어떻게 완화할 수 있는가?

주요 결과

• GPT-4와 같은 LLMs는 미국의 의료면허시험(United States Medical Licensing Examination, USMLE)에서 뛰어난 성능을 보이며 고수준의 임상 추론 가능성을 시사한다.
• 특화된 및 다중모달 LLMs는 병리, 영상의학, 유전체에서 유래한 이질적인 데이터를 통합하여 더 정확하고 종합적인 진단을 지원하는 데 잠재력을 보이고 있다.
• LLM 기반 자율 에이전트는 기억, 계획, 작업 실행 등의 구조적 구성 요소를 통해 복잡한 임상 과제를 관리할 수 있으며, 정적 질의를 넘어서 동적인 상호작용을 가능하게 한다.
• 강력한 능력을 지니고 있음에도 불구하고, 훈련 데이터 및 맥락 이해의 한계로 인해 LLMs는 허구적 발현, 사실 오류, 편향된 출력에 취약하다.
• 데이터 기밀 침해, 저작권 문제, 투명성 부족 등의 윤리적 과제는 임상 적용을 위한 주요 장벽으로 남아 있다.
• 실제 적용 전에 임상 기준을 충족하기 위해 안전성, 공정성, 신뢰성 확보를 위한 강력한 평가 프레임워크가 필수적이다.