[论文解读] A Comprehensive Survey on Evaluating Large Language Model Applications in the Medical Industry

Yining Huang, Keke Tang+2 more|arXiv (Cornell University)|Apr 24, 2024

Artificial Intelligence in Healthcare被引用 10

一句话总结

一份综述，汇编在医疗保健中对大型语言模型（LLMs）在临床、数据处理、研究、教育和公共卫生用例中的评估方式，并讨论基准、指标和伦理挑战。

ABSTRACT

Since the inception of the Transformer architecture in 2017, Large Language Models (LLMs) such as GPT and BERT have evolved significantly, impacting various industries with their advanced capabilities in language understanding and generation. These models have shown potential to transform the medical field, highlighting the necessity for specialized evaluation frameworks to ensure their effective and ethical deployment. This comprehensive survey delineates the extensive application and requisite evaluation of LLMs within healthcare, emphasizing the critical need for empirical validation to fully exploit their capabilities in enhancing healthcare outcomes. Our survey is structured to provide an in-depth analysis of LLM applications across clinical settings, medical text data processing, research, education, and public health awareness. We begin by exploring the roles of LLMs in various medical applications, detailing their evaluation based on performance in tasks such as clinical diagnosis, medical text data processing, information retrieval, data analysis, and educational content generation. The subsequent sections offer a comprehensive discussion on the evaluation methods and metrics employed, including models, evaluators, and comparative experiments. We further examine the benchmarks and datasets utilized in these evaluations, providing a categorized description of benchmarks for tasks like question answering, summarization, information extraction, bioinformatics, information retrieval and general comprehensive benchmarks. This structure ensures a thorough understanding of how LLMs are assessed for their effectiveness, accuracy, usability, and ethical alignment in the medical domain. ...

研究动机与目标

• 定义在医疗保健中对 LLMs 进行专门评估的范围和需求。
• 将医学领域的 LLM 应用分类为临床、数据处理、研究、教育与公共认知。
• 总结跨医疗领域使用的评估方法、基准和指标。
• 突出在安全部署方面改进评估框架的挑战、治理和策略。

提出的方法

• 对在多领域的医疗环境中对 LLM 评估的文献和研究进行了调查。
• 按应用领域（临床、数据处理、研究、教育、公共认知）和评估方法组织讨论。
• 总结用于评估准确性、偏见、安全性和临床一致性的基准类型和指标。
• 综合研究结果，概述部署时的伦理、法律和实际考量。
• 为从业者、研究人员和决策者在医疗保健中对 LLM 的负责任评估与使用提供指南。

实验结果

研究问题

• RQ1 在医疗领域中对 LLM 进行评估的主要应用领域有哪些？
• RQ2 用于评估在医疗保健中的 LLM 的基准、指标和评估协议有哪些？
• RQ3 在评估用于医疗的 LLM 时，主要的伦理、法律和实际挑战有哪些？
• RQ4 如何改进评估框架，以确保在临床环境中的安全且有效部署？

主要发现

• LLMs 已在多样的医疗领域进行评估，包括一般临床任务、专科科室（例如内分泌科、眼科）和放射科，报告的准确性和偏差各不相同。
• GPT-4 与 PaLM 系列模型在医学问答基准上表现强劲（例如 Flan-PaLM 在 MedQA 上达到 67.6%），但人工评估揭示了对临床对齐和潜在伤害的担忧。
• ChatGPT 变体在许多临床任务中实现了高准确性，但在种族、性别和照护决策成本等方面存在偏见。
• 多模态医疗 LLM（Med-MLLM）在放射相关任务中以受限的标注数据（1%）实现了具有竞争力的结果，表明数据效率优势。
• 放射学与急诊医学研究显示在决策支持和分诊方面具有潜力，但不安全建议的风险和诊断准确性波动需要谨慎治理。