[论文解读] EyeGPT: Ophthalmic Assistant with Large Language Models

Xiaolan Chen, Ziwei Zhao+8 more|arXiv (Cornell University)|Feb 29, 2024

Retinal Imaging and Analysis被引用 4

一句话总结

EyeGPT 是一种专用于眼科的大型语言模型，通过整合角色扮演、微调和检索增强生成技术，提升临床表现。它在眼科咨询中实现了与人类相当的可理解性、可信度和同理心，幻觉率显著低于通用大模型。

ABSTRACT

Artificial intelligence (AI) has gained significant attention in healthcare consultation due to its potential to improve clinical workflow and enhance medical communication. However, owing to the complex nature of medical information, large language models (LLM) trained with general world knowledge might not possess the capability to tackle medical-related tasks at an expert level. Here, we introduce EyeGPT, a specialized LLM designed specifically for ophthalmology, using three optimization strategies including role-playing, finetuning, and retrieval-augmented generation. In particular, we proposed a comprehensive evaluation framework that encompasses a diverse dataset, covering various subspecialties of ophthalmology, different users, and diverse inquiry intents. Moreover, we considered multiple evaluation metrics, including accuracy, understandability, trustworthiness, empathy, and the proportion of hallucinations. By assessing the performance of different EyeGPT variants, we identify the most effective one, which exhibits comparable levels of understandability, trustworthiness, and empathy to human ophthalmologists (all Ps>0.05). Overall, ur study provides valuable insights for future research, facilitating comprehensive comparisons and evaluations of different strategies for developing specialized LLMs in ophthalmology. The potential benefits include enhancing the patient experience in eye care and optimizing ophthalmologists' services.

研究动机与目标

• 开发一种专为眼科量身定制的大型语言模型，使其在临床相关性和准确性方面超越通用大模型。
• 解决通用大模型在处理眼科领域复杂、专业医学信息方面的局限性。
• 设计并评估一个全面的评估框架，从多个维度（包括准确性、同理心和幻觉率）评估眼科大语言模型。
• 识别优化策略（角色扮演、微调和检索增强生成）的最佳组合，以实现临床部署。
• 通过引入涵盖眼科亚专科的多样化、多意图评估数据集，为未来在专科医学大语言模型研究中提供基准。

提出的方法

• 在推理过程中采用角色扮演提示，模拟眼科专家的行为。
• 在精心筛选的眼科临床查询与响应数据集上应用领域特定的微调。
• 通过使用专门的眼科知识库集成检索增强生成（RAG），提升事实一致性。
• 设计一个多维评估框架，整合准确性、可理解性、可信度、同理心和幻觉检测。
• 利用涵盖多个眼科亚专科、用户类型和查询意图的多样化数据集，确保评估的稳健性。
• 通过自动指标和人工标注相结合的方式，对模型变体进行评估，以验证其与人类眼科医生的表现一致性。

实验结果

研究问题

• RQ1 在构建高性能眼科大语言模型时，角色扮演、微调和检索增强生成这三种优化策略的最佳组合是什么？
• RQ2 专科大语言模型在可理解性、可信度和同理心方面，能在多大程度上与人类眼科医生相匹配？
• RQ3 不同大语言模型变体在保持眼科咨询临床准确性的同时，如何有效降低幻觉率？
• RQ4 经过微调并结合检索增强的大语言模型，是否能在多种患者咨询类型和亚专科中实现与人类专家相当的性能？
• RQ5 影响大语言模型在眼科领域可靠性与临床可用性的关键因素有哪些？

主要发现

• 优化后的 EyeGPT 变体在可理解性、可信度和同理心方面与人类眼科医生相比无统计学差异（所有 p > 0.05）。
• 角色扮演、微调和检索增强生成的组合显著降低了幻觉率，相较于基线大模型有明显改善。
• EyeGPT 在多种眼科亚专科中均表现出高准确性，包括青光眼、视网膜疾病和屈光手术。
• 人工评估确认，模型生成的回答在可信度和同理心方面获得高度评价，与人类专家回答无显著差异。
• 全面的评估框架成功捕捉了准确性之外的细微性能维度，包括以患者为中心的沟通质量。
• 本研究为眼科及其他医学领域中专用大语言模型的开发与评估提供了经验证的基准和方法论。