[논문 리뷰] A Comprehensive Survey on Evaluating Large Language Model Applications in the Medical Industry

Yining Huang, Keke Tang외 2명|arXiv (Cornell University)|2024. 04. 24.

Artificial Intelligence in Healthcare인용 수 10

한 줄 요약

A survey compiling how large language models (LLMs) are evaluated in healthcare across clinical, data processing, research, education, and public health use cases, with discussion of benchmarks, metrics, and ethical challenges.

ABSTRACT

Since the inception of the Transformer architecture in 2017, Large Language Models (LLMs) such as GPT and BERT have evolved significantly, impacting various industries with their advanced capabilities in language understanding and generation. These models have shown potential to transform the medical field, highlighting the necessity for specialized evaluation frameworks to ensure their effective and ethical deployment. This comprehensive survey delineates the extensive application and requisite evaluation of LLMs within healthcare, emphasizing the critical need for empirical validation to fully exploit their capabilities in enhancing healthcare outcomes. Our survey is structured to provide an in-depth analysis of LLM applications across clinical settings, medical text data processing, research, education, and public health awareness. We begin by exploring the roles of LLMs in various medical applications, detailing their evaluation based on performance in tasks such as clinical diagnosis, medical text data processing, information retrieval, data analysis, and educational content generation. The subsequent sections offer a comprehensive discussion on the evaluation methods and metrics employed, including models, evaluators, and comparative experiments. We further examine the benchmarks and datasets utilized in these evaluations, providing a categorized description of benchmarks for tasks like question answering, summarization, information extraction, bioinformatics, information retrieval and general comprehensive benchmarks. This structure ensures a thorough understanding of how LLMs are assessed for their effectiveness, accuracy, usability, and ethical alignment in the medical domain. ...

연구 동기 및 목표

• 의료 분야에서 LLMs의 특화된 평가의 범위와 필요성을 정의한다.
• 의학에서 LLM 적용을 임상, 데이터 처리, 연구, 교육, 대중 인식으로 분류한다.
• 의료 영역 전반에서 사용되는 평가 방법론, 벤치마크, 지표를 요약한다.
• 안전한 배치를 위한 평가 프레임워크 개선을 위한 도전과제, 거버넌스, 전략을 강조한다.

제안 방법

• 여러 영역에 걸친 의료 환경에서 LLM 평가에 관한 문헌과 연구를 조사했다.
• 논의를 적용 분야(임상, 데이터 처리, 연구, 교육, 대중 인식)별 및 평가 방법론별로 구성했다.
• 정확성, 편향, 안전성, 임상 정합성을 평가하는 벤치마크 유형과 지표를 요약했다.
• 배치를 위한 윤리적, 법적, 실용적 고려사항을 개요화했다.
• 의료 분야에서 LLM의 책임 있는 평가 및 사용에 대해 실무자, 연구자, 정책 입안자에게 지침을 제공했다.

실험 결과

연구 질문

• RQ1 LLMs가 평가되는 지배적인 의료 적용 영역은 어디인가?
• RQ2 의료 분야에서 LLM을 평가하는 데 사용되는 벤치마크, 지표, 평가 프로토콜은 무엇인가?
• RQ3 의료 사용을 위한 LLM 평가에서 주요 윤리적, 법적, 실용적 과제는 무엇인가?
• RQ4 임상 환경에서 안전하고 효과적인 배치를 보장하기 위해 평가 프레임워크를 어떻게 개선할 수 있는가?

주요 결과

• LLMs가 평가되었으며 일반 임상 작업, 전문 과(예: 내분비학, 안과), 방사선학 등을 포함한 다양한 의학 분야에서 정확도와 편향이 다르게 보고되었다.
• GPT-4 및 PaLM 계열 모델은 의료 QA 벤치마크에서 강한 성능을 보이지만(예: MedQA에서 Flan-PaLM 67.6% 달성), 인간 평가에서 임상 정합성 및 잠재적 위해성에 대한 우려가 드러난다.
• ChatGPT 변종은 많은 임상 작업에서 높은 정확도에 도달하지만 인종, 성별, 치료 결정의 비용 영향과 관련된 편향을 보인다.
• 다중모달 의료 LLM(Med-MLLM)은 제한된 라벨 데이터(1%)를 사용해도 방사선 관련 작업을 경쟁력 있게 수행하여 데이터 효율성 이점을 시사한다.
• 방사선학 및 응급의학 연구는 의사결정 지원 및 선별에 가능성을 보이지만, 안전하지 않은 권고의 위험과 진단 정확도의 변동성은 신중한 거버넌스를 필요로 한다.