[论文解读] Dermacen Analytica: A Novel Methodology Integrating Multi-Modal Large Language Models with Machine Learning in tele-dermatology

Dimitrios P. Panagoulias, Evridiki Tsoureli‐Nikita+2 more|arXiv (Cornell University)|Mar 21, 2024

Cutaneous Melanoma Detection and ManagementMedicine被引用 3

一句话总结

Dermacen Analytica 提出了一种新型的、由人工智能驱动的工作流程，将多模态大语言模型（GPT-4V）与机器学习相结合，用于远程皮肤科诊疗，通过整合视觉与文本分析以提升诊断准确率和上下文理解能力。该系统通过跨模型验证与专家评估，在诊断准确率与上下文理解方面均取得了 0.87 的加权得分。

ABSTRACT

The rise of Artificial Intelligence creates great promise in the field of medical discovery, diagnostics and patient management. However, the vast complexity of all medical domains require a more complex approach that combines machine learning algorithms, classifiers, segmentation algorithms and, lately, large language models. In this paper, we describe, implement and assess an Artificial Intelligence-empowered system and methodology aimed at assisting the diagnosis process of skin lesions and other skin conditions within the field of dermatology that aims to holistically address the diagnostic process in this domain. The workflow integrates large language, transformer-based vision models and sophisticated machine learning tools. This holistic approach achieves a nuanced interpretation of dermatological conditions that simulates and facilitates a dermatologist's workflow. We assess our proposed methodology through a thorough cross-model validation technique embedded in an evaluation pipeline that utilizes publicly available medical case studies of skin conditions and relevant images. To quantitatively score the system performance, advanced machine learning and natural language processing tools are employed which focus on similarity comparison and natural language inference. Additionally, we incorporate a human expert evaluation process based on a structured checklist to further validate our results. We implemented the proposed methodology in a system which achieved approximate (weighted) scores of 0.87 for both contextual understanding and diagnostic accuracy, demonstrating the efficacy of our approach in enhancing dermatological analysis. The proposed methodology is expected to prove useful in the development of next-generation tele-dermatology applications, enhancing remote consultation capabilities and access to care, especially in underserved areas.

研究动机与目标

• 开发一种由人工智能赋能的、全面的皮肤病变诊断工作流程，以模拟皮肤科医生的推理过程。
• 通过多模态人工智能模型，提升远程皮肤科诊疗中的诊断准确率与效率。
• 解决远程皮肤科诊断中的局限性，特别是在资源匮乏地区的问题。
• 将可解释人工智能、分割技术与基于证据的准则整合到统一的诊断流程中。
• 通过跨模型、基于自然语言处理（NLP）以及专家标注的评估框架对系统进行验证。

提出的方法

• 该系统整合 GPT-4V（多模态大语言模型），实现对皮肤病变图像与临床描述的联合视觉与文本理解。
• 采用先进的机器学习工具进行特征提取，包括对病变的形状、大小、颜色与纹理的分析。
• 通过分割算法将病变从周围皮肤中分离，以实现对感兴趣区域的精确分析。
• 嵌入基于临床指南的实用皮肤科标准，以确保医学相关性与一致性。
• 采用跨模型验证流程，利用自然语言处理技术——相似度比较与自然语言蕴含（NLI）——对诊断推理进行评分。
• 通过结构化清单的人类专家评估，将系统输出与金标准诊断进行比对验证。

Figure 1: Dermacen Analytica, proposed AI-empowered dermatology workflow

实验结果

研究问题

• RQ1 基于多模态大语言模型的系统是否能在远程皮肤科诊疗中实现高诊断准确率与强上下文推理能力？
• RQ2 视觉变换器与自然语言处理技术的整合在多大程度上提升了诊断的一致性与可解释性？
• RQ3 该系统在诊断推理与准确率方面，其性能在多大程度上可与人类皮肤科医生相媲美？
• RQ4 通过多模型协作与验证，该系统是否能有效减少诊断错误与幻觉现象？
• RQ5 该系统在提升偏远或资源匮乏地区皮肤科诊疗可及性方面，效果如何？

主要发现

• 该系统在诊断准确率与上下文理解方面均取得了 0.87 的加权得分，表明其性能表现优异。
• 基于自然语言蕴含（NLI）与相似度评分的 NLP 评估方法，证实了正确诊断与预测诊断之间具有高度一致性。
• 人类专家评估的平均得分为 5 分制中的 4.31 分，换算为归一化值约为 0.86。
• 跨模型验证流程通过多模态一致性检查，有效减少了幻觉现象，提升了诊断可靠性。
• 该系统在基于证据的评估标准下，对多种皮肤状况与病变表现出强大的适应能力。
• 该方法具有良好的可扩展性，适用于下一代远程皮肤科诊疗应用的部署，尤其在低资源环境中表现突出。

Figure 2: Reducing the knowledge space