[論文レビュー] 3D-CT-GPT: Generating 3D Radiology Reports through Integration of Large Vision-Language Models

Hao Chen, Wei Zhao+9 more|arXiv (Cornell University)|Sep 28, 2024

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

3D-CT-GPT は、3D Vision Transformer (CT-ViT) を大規模言語モデルと可変VQAフレームワークを介して統合することで、3D胸部CTスキャンから高品質なレントゲン報告書を生成する視覚言語モデルです。最先端の性能を達成しており、M3D や CT2Rep などの既存手法を上回り、特にプライベートデータでファインチューニングされた場合、報告書の整合性と診断的正確性において優れています。

ABSTRACT

Medical image analysis is crucial in modern radiological diagnostics, especially given the exponential growth in medical imaging data. The demand for automated report generation systems has become increasingly urgent. While prior research has mainly focused on using machine learning and multimodal language models for 2D medical images, the generation of reports for 3D medical images has been less explored due to data scarcity and computational complexities. This paper introduces 3D-CT-GPT, a Visual Question Answering (VQA)-based medical visual language model specifically designed for generating radiology reports from 3D CT scans, particularly chest CTs. Extensive experiments on both public and private datasets demonstrate that 3D-CT-GPT significantly outperforms existing methods in terms of report accuracy and quality. Although current methods are few, including the partially open-source CT2Rep and the open-source M3D, we ensured fair comparison through appropriate data conversion and evaluation methodologies. Experimental results indicate that 3D-CT-GPT enhances diagnostic accuracy and report coherence, establishing itself as a robust solution for clinical radiology report generation. Future work will focus on expanding the dataset and further optimizing the model to enhance its performance and applicability.

研究の動機と目的

• 3D医療画像データの爆発的増加に伴い、自動的かつ正確なレントゲン報告書生成のニーズが高まっていることに対応する。
• 既存の3D報告書生成モデルに見られる、高い計算コスト、大規模言語モデル（LLM）との統合性の低さ、一般化性能の不足といった制限を克服する。
• 3D CTスキャン（特に胸部CT）から診断的に整合性のある報告書を生成する、計算効率的で臨床的実用性の高いソリューションを開発する。
• リソース制限のある臨床現場でも高い性能を維持しつつ、データ依存性を低減するための最適化されたトレーニング戦略を確立する。
• 3D ViT、3D平均プーリング、および線形投影層を組み合わせた新規アーキテクチャにより、特徴量とテキストの整合性を向上させ、報告書品質を向上させる。

提案手法

• 3D CTボリュームからの階層的空間特徴抽出のため、画像エンコーダーとして3D Vision Transformer (CT-ViT) を採用する。
• 3D特徴マップを1次元シーケンスに圧縮するため、3D平均プーリングを適用する。
• 視覚的特徴を言語モデルの潜在空間に一致させるために、学習可能な線形投影層を導入し、クロスモodal理解を向上させる。
• 3D画像から導出される暗黙の診断質問に応答することで報告書を生成する、VQAベースのトレーニングパラダイムを活用する。
• 段階的トレーニング戦略を実装：まず公開3D CTデータセットで事前学習を行い、その後小規模なプライベートデータセットでファインチューニングすることで、性能と一般化能力を向上させる。
• 報告書生成時のテキストの多様性と事実の正確性のバランスを取るために、温度制御デコードを適用する。

Figure 1: Comparison between: (a) Existing models like RadMD and M3D-LaMed, and (b) Our 3D-CT-GPT, that uniquely combines CT ViT, 3D Average Pooling and a projection layer (dashed box) to enhance report generation from 3D CT scans, improving on past methods.

実験結果

リサーチクエスチョン

• RQ1 2Dスライスごとの処理に依存せずに、3D CTスキャンから直接正確で整合性のあるレントゲン報告書を生成できる視覚言語モデルは、本当に有効であるか？
• RQ2 VQAフレームワークを介して3D Vision Transformerと大規模言語モデルを統合することで、既存の3D報告書生成モデルと比較して報告書品質がどのように向上するか？
• RQ3 事前学習（公開データで）、ファインチューニング（プライベートデータで）、または統合学習といった異なるトレーニング戦略が、モデルの性能と計算効率に与える影響は何か？
• RQ4 提案された線形投影層は、特徴量とテキストの整合性および全体的な報告書品質をどの程度向上させるか？
• RQ5 3D-CT-GPT は、未確認のプライベートおよび公開のバリデーションセットを含む多様なデータセットに、どの程度一般化できるか？

主な発見

• T1トレーニング戦略（公開データで事前学習し、その後プライベートデータでファインチューニング）が最高の性能を達成し、BLEU-4が 0.3836、ROUGE-1が 0.4749、METEORが 0.3565 を記録した。
• プライベートデータセット（Dataset-XY val）では、3D-CT-GPT（T3戦略）が M3D を上回り、BLEUスコアは 0.2323 対 0.0869、ROUGE-Lスコアは 0.1567 対 0.1028 を記録した。
• 公開CT-RATEバリデーションセットでの評価では、T2でトレーニングされた3D-CT-GPTが、BLEUスコア 0.1327、ROUGE-L 0.1454 を達成し、M3Dの 0.0299 と 0.0781 を上回った。
• ファインチューニングが顕著に性能を向上させ、BLEUスコアがファインチューニングなしの 0.2950 から 0.3476 に上昇した。これはファインチューニングが適応に不可欠であることを示している。
• 線形投影層の導入により、ROUGEスコアおよび BERTScore_F1 にわずかだが一貫した向上が見られ、視覚的表現とテキスト表現の意味的整合性が向上した。
• 温度制御実験の結果、高い温度設定はテキストの多様性を増加させるが、事実の正確性を低下させる傾向にあり、最適なハイパーパramータチューニングの重要性が浮き彫りになった。

Figure 2: Overview of the 3D-CT-GPT model architecture, featuring three key components: (a) 3D CT Image Encoder utilizing CT-ViT for feature extraction; (b) Linear Projection Layer for feature transformation; (c) Integration of Vision and Language Models for generating contextually relevant radiolog