[논문 리뷰] Large language models in medicine: the potentials and pitfalls

Jesutofunmi A. Omiye, Haiwen Gui외 3명|arXiv (Cornell University)|2023. 08. 31.

Artificial Intelligence in Healthcare and Education참고 문헌 68인용 수 6

한 줄 요약

이 논문은 의료 분야의 대규모 언어 모델(Large Language Models, LLMs)에 대한 종합적인 리뷰를 제공하며, 의료 추론, 환자 소통, 진단 지원과 같은 임상 과제에서의 능력을 설명하고, 환각, 편향, 해석 불가능성과 같은 심각한 위험 요소를 강조한다. 이는 임상 워크플로우에 LLMs를 이해하고 평가하며 책임감 있게 통합하는 데 도움이 되는 지침서로 기능한다.

ABSTRACT

Large language models (LLMs) have been applied to tasks in healthcare, ranging from medical exam questions to responding to patient questions. With increasing institutional partnerships between companies producing LLMs and healthcare systems, real world clinical application is coming closer to reality. As these models gain traction, it is essential for healthcare practitioners to understand what LLMs are, their development, their current and potential applications, and the associated pitfalls when utilized in medicine. This review and accompanying tutorial aim to give an overview of these topics to aid healthcare practitioners in understanding the rapidly changing landscape of LLMs as applied to medicine.

연구 동기 및 목표

• 임상 환경에서의 대규모 언어 모델(Large Language Models, LLMs)의 기본 원리, 능력, 그리고 한계에 대해 의료 종사자들을 교육하는 것.
• 임상 의사결정 지원, 환자 상호작용, 의료 교육을 포함한 LLMs의 현재 및 신규 응용 분야를 분석하는 것.
• 환각, 편향, LLM 출력의 투명성 부족과 같은 주요 위험 요소를 식별하고 논의하는 것.
• 구조화된 지침 틀을 통해 임상의들이 LLMs를 책임감 있게 채택하고 평가할 수 있도록 안내하는 것.
• 윤리적, 기술적, 실무적 과제를 다루어 AI 개발과 임상 구현 간 격차를 메우는 것.

제안 방법

• 의료 분야에서 LLM 응용에 관한 기존 문헌을 체계적으로 검토하고 통합하는 것.
• 임상 추론, 기록 작성, 환자 소통을 포함한 의료 분야에서의 LLM 사용 사례를 분류하는 것.
• 성능과 신뢰성에 중점을 두고 사례 연구 및 실제 사례를 통해 모델 행동을 분석하는 것.
• 사실 기반 환각, 데이터 편향, 해석 불가능성과 같은 위험 요소를 임상 안전성 기준을 사용해 평가하는 것.
• 임상의들이 LLMs를 책임감 있게 평가하고 구현할 수 있도록 안내하는 지침 틀을 개발하는 것.
• LLM 개발자와 의료 시스템 간의 기관 협력에서 도출된 통찰을 바탕으로 실무적 구현을 지원하는 것.

실험 결과

연구 질문

• RQ1 대규모 언어 모델의 주요 임상 응용 분야는 무엇인가?
• RQ2 의학 시험 문제 해결 및 환자 질의 응답과 같은 과제에서 대규모 언어 모델의 성능은 어떻게 되는가?
• RQ3 특히 안전성과 신뢰성 측면에서 임상 환경에 LLM을 도입할 때 관련된 주요 위험 요소는 무엇인가?
• RQ4 의료 종사자들은 LLM 출력의 환각과 편향을 평가하고 완화하기 위해 어떻게 해야 하는가?
• RQ5 임상 워크플로우에 LLM을 책임감 있게 통합하기 위해 필요한 프레임워크나 지침은 무엇인가?

주요 결과

• LLMs는 보드 스타일의 시험 문제 해결과 같은 의료 추론 과제에서 뛰어난 성능을 보이며, 다만 뚜렷한 오류 비율이 존재한다.
• LLMs는 환자 소통 및 임상 기록 작성에 효과적으로 기여하여 의료진의 기록 작성 부담을 줄일 수 있다.
• 주요 위험 요소로는 복잡한 진단 상황에서 신뢰할 수 있는 것처럼 보이지만 잘못된 정보를 생성하는 '환각'이 있다.
• 학습 데이터의 편향은 다양한 인구 집단 간 모델 성능 격차를 초래하여 공정성 문제를 야기한다.
• LLM의 의사결정 과정이 해석 불가능하고 투명하지 않아 임상적 신뢰도와 규제 승인에 제약을 가한다.
• LLM 개발자와 의료 시스템 간의 기관 협력이 실제 임상 적용을 가속화하고 있지만, 철저한 안전성 검증이 필요하다.