[论文解读] CephGPT-4: An Interactive Multimodal Cephalometric Measurement and Diagnostic System with Visual Large Language Model

Lei Ma, Jincong Han+2 more|arXiv (Cornell University)|Jul 1, 2023

Dental Radiography and Imaging被引用 4

一句话总结

CephGPT-4 是一种新颖的多模态诊断系统，通过视觉大语言模型（VLLM）如 Minigpt-4 和 VisualGLM，将头影测量X光片与医患对话数据相结合。该系统利用基于U-Net的地标检测方法和GPT生成的诊断报告，构建了定制化的口腔正畸数据集，在交互式头影测量与临床推理方面表现出色，展现出在自动化口腔正畸诊断方面的巨大潜力。

ABSTRACT

Large-scale multimodal language models (LMMs) have achieved remarkable success in general domains. However, the exploration of diagnostic language models based on multimodal cephalometric medical data remains limited. In this paper, we propose a novel multimodal cephalometric analysis and diagnostic dialogue model. Firstly, a multimodal orthodontic medical dataset is constructed, comprising cephalometric images and doctor-patient dialogue data, with automatic analysis of cephalometric landmarks using U-net and generation of diagnostic reports. Then, the cephalometric dataset and generated diagnostic reports are separately fine-tuned on Minigpt-4 and VisualGLM. Results demonstrate that the CephGPT-4 model exhibits excellent performance and has the potential to revolutionize orthodontic measurement and diagnostic applications. These innovations hold revolutionary application potential in the field of orthodontics.

研究动机与目标

• 开发一种基于视觉大语言模型的交互式、多模态诊断系统，用于口腔正畸头影测量分析。
• 解决缺乏针对多模态头影测量医学数据定制的诊断语言模型的问题。
• 构建一个综合性口腔正畸数据集，整合头影测量影像、标注的解剖标志点以及真实的医患对话。
• 在头影测量数据上微调视觉-语言模型，以实现准确的诊断报告生成与测量结果解读。
• 与基线方法相比，评估模型在临床推理与诊断准确性方面的性能表现。

提出的方法

• 构建一个结合头影测量X光片、U-Net预测的地标坐标以及合成医患对话对的多模态口腔正畸数据集。
• 使用U-Net自动检测头影测量影像中的解剖标志点，以提取侧位头影图中的关键特征。
• 利用在医学对话与影像数据上训练的大语言模型生成临床诊断报告。
• 在构建的头影测量数据集上对两种视觉大语言模型——Minigpt-4 和 VisualGLM——进行微调，以实现多模态理解能力。
• 整合图像与文本模态，实现在对话格式下支持交互式、上下文感知的诊断响应。
• 通过定性与定量基准评估模型在诊断准确性与地标检测保真度方面的性能表现。

实验结果

研究问题

• RQ1 视觉大语言模型能否有效解读头影测量X光片并生成具有临床相关性的诊断报告？
• RQ2 多模态模型在多大程度上能将视觉头影测量标志点与自然语言对话整合，以支持口腔正畸诊断？
• RQ3 在专业化的口腔正畸数据集上进行微调，相较于通用VLLM，能在多大程度上提升诊断推理能力？
• RQ4 该系统能否支持在口腔正畸临床决策支持中实现交互式、上下文感知的对话？
• RQ5 当适应于头影测量诊断任务时，Minigpt-4 与 VisualGLM 的性能表现如何比较？

主要发现

• CephGPT-4 模型在基于头影测量影像与对话上下文生成准确诊断报告方面表现出色。
• 在自定义口腔正畸数据集上进行微调，显著提升了诊断相关性与临床连贯性，优于零样本VLLM推理结果。
• 基于U-Net的地标检测方法在识别侧位头影图中关键解剖点方面表现出高精度。
• 该模型成功整合视觉与文本模态，支持交互式、多轮次的诊断对话。
• Minigpt-4 与 VisualGLM 在口腔正畸任务中均展现出强大的适应能力，在诊断推理与图像理解方面表现优异。
• 该系统在口腔正畸临床实践与决策支持中具备实际部署潜力。