[论文解读] GenerateCT: Text-Conditional Generation of 3D Chest CT Volumes

İbrahim Ethem Hamamcı, Sezgin Er+14 more|arXiv (Cornell University)|May 25, 2023

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

GenerateCT 是一种新颖的文本条件化 3D 胸部 CT 生成框架，采用因果视觉 Transformer 对自回归 CT 体积进行编码，利用文本-图像 Transformer 实现跨模态对齐，并通过文本条件化的超分辨率扩散模型生成高保真、高分辨率的 3D 体积，输入为自由形式的放射科报告。该方法在数据增强方面达到最先进性能，使多异常分类的平均精度（AP）提升 11%，当使用 100,000 个体素合成数据训练时，性能超越仅使用真实数据的模型 8%。

ABSTRACT

GenerateCT, the first approach to generating 3D medical imaging conditioned on free-form medical text prompts, incorporates a text encoder and three key components: a novel causal vision transformer for encoding 3D CT volumes, a text-image transformer for aligning CT and text tokens, and a text-conditional super-resolution diffusion model. Without directly comparable methods in 3D medical imaging, we benchmarked GenerateCT against cutting-edge methods, demonstrating its superiority across all key metrics. Importantly, we evaluated GenerateCT's clinical applications in a multi-abnormality classification task. First, we established a baseline by training a multi-abnormality classifier on our real dataset. To further assess the model's generalization to external data and performance with unseen prompts in a zero-shot scenario, we employed an external set to train the classifier, setting an additional benchmark. We conducted two experiments in which we doubled the training datasets by synthesizing an equal number of volumes for each set using GenerateCT. The first experiment demonstrated an 11% improvement in the AP score when training the classifier jointly on real and generated volumes. The second experiment showed a 7% improvement when training on both real and generated volumes based on unseen prompts. Moreover, GenerateCT enables the scaling of synthetic training datasets to arbitrary sizes. As an example, we generated 100,000 3D CTs, fivefold the number in our real set, and trained the classifier exclusively on these synthetic CTs. Impressively, this classifier surpassed the performance of the one trained on all available real data by a margin of 8%. Last, domain experts evaluated the generated volumes, confirming a high degree of alignment with the text prompt. Access our code, model weights, training data, and generated data at https://github.com/ibrahimethemhamamci/GenerateCT

研究动机与目标

• 通过实现高保真 3D 胸部 CT 体积的文本条件化生成，解决 3D 医疗影像中的数据稀缺与隐私限制问题。
• 通过提出一种新颖的级联式框架用于 3D CT 合成，克服医疗影像中缺乏预训练 3D 视觉-语言模型的局限。
• 评估合成 CT 体积在数据增强和多异常分类任务中的零样本泛化能力的临床实用性。
• 通过使用自由形式的医学文本提示实现可扩展、保护隐私的数据生成，无需配对训练数据。
• 通过开源代码和预训练模型，为未来研究奠定基础。

提出的方法

• GenerateCT 采用因果视觉 Transformer（CT-ViT）自回归地将 3D CT 体积编码为标记，支持可变的轴向视野并实现高分辨率切片重建。
• 双向文本-图像 Transformer 通过掩码 CT 标记预测实现交叉注意力监督，将编码后的 CT 标记与自由形式放射科报告的文本嵌入对齐。
• 级联式文本条件化超分辨率扩散模型在保持与输入提示语义一致性的前提下，提升低分辨率轴向切片的平面分辨率。
• 该框架通过 CT-ViT 的重建损失与超分辨率的扩散损失联合训练，以文本提示作为条件信号实现端到端训练。
• 通过重复使用相同文本提示多次，实现灵活的数据生成，可将合成数据集扩展至任意规模。
• 该架构设计旨在保持 3D 体积内空间一致性和解剖真实性，同时确保与复杂自由形式放射科报告的高度对齐。

Figure 2 : The GenerateCT architecture consists of three main components. (1) The CT-ViT encoder architecture processes the embeddings of CT patches from raw slices S through a spatial transformer followed by a causal transformer (auto-regressive in-depth), generating CT tokens. (2) The vision-langu

实验结果

研究问题

• RQ1 文本条件化生成模型能否从自由形式的放射科报告中生成高保真、逼真的 3D 胸部 CT 体积？
• RQ2 GenerateCT 生成的合成 CT 体积在多异常分类下游任务中的性能提升程度如何？
• RQ3 GenerateCT 在零样本设置下对未见文本提示和外部数据集的泛化能力如何？
• RQ4 GenerateCT 生成的合成数据能否在分类任务中超越仅使用真实数据的模型？
• RQ5 数据规模与提示多样性对生成 CT 体积的质量与泛化能力有何影响？

主要发现

• 在 20,000 个体素真实数据与 20,000 个体素由 GenerateCT 生成的合成数据混合数据集上进行训练，多异常分类器的平均平均精度（AP）相比仅使用真实数据训练提升了 11%。
• 仅使用 100,000 个体素合成数据（为真实数据集的五倍）进行训练的分类器，在平均 AP 上超越真实数据仅训练的模型 8%，在平均 AUROC 上超越 4%。
• 在 RadChestCT 数据集上的零样本评估中，基于未见提示生成的合成数据训练的分类器达到平均 AP 0.146，接近真实数据基线的 0.177。
• 在零样本设置中，真实与合成数据结合的方案达到平均 AUROC 0.623 和平均 AP 0.190，优于单独的真实数据与合成数据基线。
• 领域专家确认，生成的 CT 体积与输入文本提示具有高度一致性，表明其具备强大的语义与解剖保真度。
• 该模型展示了可扩展性，通过重复使用提示生成了 100,000 个体素合成体积，证明其在大规模、保护隐私的数据增强中的实用价值。

Figure 3 : Examples of generated chest CT volumes within the practical HU scale limits of $[-1000~{}\text{HU},+1000~{}\text{HU}]$ . Each example includes three sequential slices from the same volume, highlighting GenerateCT’s ability to maintain consistency across multiple slices.