[논문 리뷰] 3D-CT-GPT: Generating 3D Radiology Reports through Integration of Large Vision-Language Models

Hao Chen, Wei Zhao외 9명|arXiv (Cornell University)|2024. 09. 28.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

3D-CT-GPT는 3D 시각 인식 트랜스포머(CT-ViT)를 대규모 언어 모델과 시각-언어 프레임워크를 통해 통합함으로써 3D 흉부 CT 스캔에서 고품질 영상 진단 보고서를 생성하는 시각-언어 모델이다. 이 모델은 M3D 및 CT2Rep와 같은 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하였으며, 특히 비공개 데이터로 미세조정한 경우 보고서의 일관성과 진단 정확도에서 뛰어난 성능을 보였다.

ABSTRACT

Medical image analysis is crucial in modern radiological diagnostics, especially given the exponential growth in medical imaging data. The demand for automated report generation systems has become increasingly urgent. While prior research has mainly focused on using machine learning and multimodal language models for 2D medical images, the generation of reports for 3D medical images has been less explored due to data scarcity and computational complexities. This paper introduces 3D-CT-GPT, a Visual Question Answering (VQA)-based medical visual language model specifically designed for generating radiology reports from 3D CT scans, particularly chest CTs. Extensive experiments on both public and private datasets demonstrate that 3D-CT-GPT significantly outperforms existing methods in terms of report accuracy and quality. Although current methods are few, including the partially open-source CT2Rep and the open-source M3D, we ensured fair comparison through appropriate data conversion and evaluation methodologies. Experimental results indicate that 3D-CT-GPT enhances diagnostic accuracy and report coherence, establishing itself as a robust solution for clinical radiology report generation. Future work will focus on expanding the dataset and further optimizing the model to enhance its performance and applicability.

연구 동기 및 목표

• 3D 의료 영상 데이터의 급격한 증가에 따라 자동화되고 정확한 영상 진단 보고서 생성의 증가하는 수요를 해결하기 위해.
• 기존 3D 보고서 생성 모델의 한계를 극복하기 위해, 높은 계산 비용, 대규모 언어 모델(LLM)의 열악한 통합, 일반화 능력의 제한성 문제를 해결하기 위해.
• 특히 흉부 CT 스캔에서 진단적으로 일관된 보고서를 생성하기 위한 계산 비용이 적고 임상적으로 실용적인 솔루션을 개발하기 위해.
• 자원이 제한된 임상 환경에서 고성능을 유지하면서도 데이터 의존도를 줄일 수 있도록 훈련 전략을 최적화하기 위해.
• 3D ViT, 3D 평균 풀링, 선형 투영 레이어를 조합한 새로운 아키텍처를 통해 시각적 특징과 텍스트 간의 정렬을 향상시켜 보고서 품질을 향상시키기 위해.

제안 방법

• 3D CT 볼륨에서 계층적인 공간적 특징을 추출하기 위해 이미지 인코더로 3D 시각 인식 트랜스포머(CT-ViT)를 사용한다.
• 3D 특징 맵을 1D 시퀀스로 압축하기 위해 3D 평균 풀링을 적용한다.
• 시각적 특징을 언어 모델의 잠재 공간과 정렬하기 위해 학습 가능한 선형 투영 레이어를 도입한다.
• 모델이 3D 이미지에서 유도된 암시적 진단 질문에 답함으로써 보고서를 생성하는 VQA 기반 훈련 프레임워크를 활용한다.
• 다단계 훈련 전략을 구현: 공개 3D CT 데이터셋에서 사전 훈련한 후, 더 작은 비공개 데이터셋에서 미세조정하여 성능과 일반화 능력을 향상시킨다.
• 보고서 생성 중 텍스트 다양성과 사실적 정확도의 균형을 맞추기 위해 온도 기반 디코딩을 적용한다.

Figure 1: Comparison between: (a) Existing models like RadMD and M3D-LaMed, and (b) Our 3D-CT-GPT, that uniquely combines CT ViT, 3D Average Pooling and a projection layer (dashed box) to enhance report generation from 3D CT scans, improving on past methods.

실험 결과

연구 질문

• RQ1 2D 슬라이스 단위 처리에 의존하지 않고, 3D CT 스캔에서 직접 정확하고 일관성 있는 영상 진단 보고서를 효과적으로 생성할 수 있는가?
• RQ2 VQA 프레임워크를 통해 3D 시각 인식 트랜스포머와 대규모 언어 모델을 통합함으로써, 기존 3D 보고서 생성 모델 대비 보고서 품질은 어떻게 향상되는가?
• RQ3 사전 훈련(공개 데이터), 미세조정(비공개 데이터), 또는 공동 훈련 등의 다양한 훈련 전략이 모델 성능과 계산 효율성에 미치는 영향은 어떠한가?
• RQ4 제안된 선형 투영 레이어가 특징-텍스트 정렬 및 종합적인 보고서 품질에 어떤 영향을 미치는가?
• RQ5 3D-CT-GPT는 비공개 및 공개 검증 세트를 포함한 다양한 데이터셋에 대해 얼마나 잘 일반화되는가?

주요 결과

• T1 훈련 전략(공개 데이터에서 사전 훈련 후 비공개 데이터에서 미세조정)이 가장 높은 성능을 기록하였으며, BLEU-4는 0.3836, ROUGE-1은 0.4749, METEOR는 0.3565를 기록하였다.
• 비공개 데이터셋(Dataset-XY val)에서 3D-CT-GPT(T3 전략)는 M3D보다 BLEU 점수 0.2323 대 0.0869, ROUGE-L 점수 0.1567 대 0.1028로 뛰어난 성능을 보였다.
• 공개 CT-RATE 검증 세트에서 평가한 결과, T2로 훈련된 3D-CT-GPT는 BLEU 점수 0.1327, ROUGE-L 점수 0.1454를 기록하여 M3D의 0.0299 및 0.0781을 능가하였다.
• 미세조정이 모델 성능을 크게 향상시켰으며, 미세조정 없이 BLEU 점수가 0.2950에서 미세조정 후 0.3476으로 상승하여 그 중요성을 입증하였다.
• 선형 투영 레이어의 포함으로 ROUGE 및 BERTScore_F1에서 약간이지만 일관된 향상이 관찰되어, 시각적 표현과 텍스트 표현 간의 의미 정렬이 향상됨을 시사하였다.
• 온도 조절 실험 결과, 높은 온도는 텍스트 다양성을 증가시켰지만 사실 정확도를 저하시켰으며, 최적의 하이퍼파라미터 조정이 필요함을 시사하였다.

Figure 2: Overview of the 3D-CT-GPT model architecture, featuring three key components: (a) 3D CT Image Encoder utilizing CT-ViT for feature extraction; (b) Linear Projection Layer for feature transformation; (c) Integration of Vision and Language Models for generating contextually relevant radiolog