[论文解读] 3D-CT-GPT: Generating 3D Radiology Reports through Integration of Large Vision-Language Models

Hao Chen, Wei Zhao+9 more|arXiv (Cornell University)|Sep 28, 2024

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

3D-CT-GPT 是一种视觉-语言模型，通过在视觉问答（VQA）框架下将3D视觉变换器（CT-ViT）与大型语言模型结合，从3D胸部CT扫描生成高质量放射科报告。该模型实现了最先进性能，在报告连贯性和诊断准确性方面优于现有方法（如M3D和CT2Rep），尤其是在在私有数据上微调后表现更优。

ABSTRACT

Medical image analysis is crucial in modern radiological diagnostics, especially given the exponential growth in medical imaging data. The demand for automated report generation systems has become increasingly urgent. While prior research has mainly focused on using machine learning and multimodal language models for 2D medical images, the generation of reports for 3D medical images has been less explored due to data scarcity and computational complexities. This paper introduces 3D-CT-GPT, a Visual Question Answering (VQA)-based medical visual language model specifically designed for generating radiology reports from 3D CT scans, particularly chest CTs. Extensive experiments on both public and private datasets demonstrate that 3D-CT-GPT significantly outperforms existing methods in terms of report accuracy and quality. Although current methods are few, including the partially open-source CT2Rep and the open-source M3D, we ensured fair comparison through appropriate data conversion and evaluation methodologies. Experimental results indicate that 3D-CT-GPT enhances diagnostic accuracy and report coherence, establishing itself as a robust solution for clinical radiology report generation. Future work will focus on expanding the dataset and further optimizing the model to enhance its performance and applicability.

研究动机与目标

• 应对因3D医学影像数据呈指数级增长而带来的自动化、精准放射科报告生成的迫切需求。
• 克服现有3D报告生成模型的局限性，包括计算成本高、大型语言模型（LLM）整合不足以及泛化能力有限等问题。
• 开发一种计算高效且临床实用的解决方案，用于从3D CT扫描（尤其是胸部CT）生成诊断一致的报告。
• 优化训练策略以减少对数据的依赖，同时保持高性能，特别是在资源受限的临床环境中。
• 通过结合3D ViT、3D平均池化和线性投影层的新型架构，提升特征到文本的对齐效果，从而增强报告质量。

提出的方法

• 采用3D视觉变换器（CT-ViT）作为图像编码器，从3D CT容积中提取分层空间特征。
• 应用3D平均池化将3D特征图压缩为适合输入大型语言模型的1D序列。
• 引入可学习的线性投影层，将视觉特征与语言模型的潜在空间对齐，提升跨模态理解能力。
• 采用基于VQA的训练范式，模型通过回答从3D图像中推导出的隐式诊断问题来生成报告。
• 实施多阶段训练策略：先在公开的3D CT数据集上预训练，再在较小的私有数据集上微调，以提升性能和泛化能力。
• 应用温度控制解码策略，在报告生成过程中平衡文本多样性和事实准确性。

Figure 1: Comparison between: (a) Existing models like RadMD and M3D-LaMed, and (b) Our 3D-CT-GPT, that uniquely combines CT ViT, 3D Average Pooling and a projection layer (dashed box) to enhance report generation from 3D CT scans, improving on past methods.

实验结果

研究问题

• RQ1 视觉-语言模型能否在不依赖逐切片2D处理的情况下，直接从3D CT扫描有效生成准确且连贯的放射科报告？
• RQ2 通过VQA框架将3D视觉变换器与大型语言模型结合，相较于现有3D报告生成模型，如何提升报告质量？
• RQ3 不同的训练策略（在公开数据上预训练、在私有数据上微调或联合训练）对模型性能和计算效率有何影响？
• RQ4 所提出的线性投影层在多大程度上提升了特征到文本的对齐效果以及整体报告质量？
• RQ5 3D-CT-GPT在多样化数据集上的泛化能力如何，包括未见过的私有和公开验证集？

主要发现

• T1训练策略（在公开数据上预训练，随后在私有数据上微调）达到最高性能，BLEU-4为0.3836，ROUGE-1为0.4749，METEOR为0.3565。
• 在私有数据集（Dataset-XY val）上，3D-CT-GPT（T3策略）优于M3D，BLEU得分为0.2323 vs 0.0869，ROUGE-L得分为0.1567 vs 0.1028。
• 在公开的CT-RATE验证集上评估时，T2训练的3D-CT-GPT获得BLEU得分为0.1327，ROUGE-L为0.1454，分别优于M3D的0.0299和0.0781。
• 微调显著提升了模型性能，BLEU得分从无微调时的0.2950提升至微调后的0.3476，表明其在模型适应中的关键作用。
• 引入线性投影层后，ROUGE和BERTScore_F1出现轻微但持续的提升，表明视觉与文本表征之间的语义对齐得到改善。
• 温度控制实验表明，较高的温度会增加文本多样性，但降低事实准确性，凸显了超参数最优调优的必要性。

Figure 2: Overview of the 3D-CT-GPT model architecture, featuring three key components: (a) 3D CT Image Encoder utilizing CT-ViT for feature extraction; (b) Linear Projection Layer for feature transformation; (c) Integration of Vision and Language Models for generating contextually relevant radiolog