[论文解读] CyTran: Cycle-Consistent Transformers for Non-Contrast to Contrast CT Translation.

Nicolae-Cătălin Ristea, Andreea-Iuliana Ionescu+5 more|arXiv (Cornell University)|Oct 12, 2021

Generative Adversarial Networks and Image Synthesis参考文献 51被引用 12

一句话总结

CyTran 提出了一种基于循环一致性的变换器模型，用于无配对的非增强CT到增强CT的图像转换，通过结合混合卷积与多头注意力层，并采用循环一致性损失，实现在无需配对数据的情况下进行高分辨率图像转换。该方法在新构建的3D三相肺部CT数据集上实现了最先进性能，优于现有方法，并提升了后续图像配准的准确性。

ABSTRACT

We propose a novel approach to translate unpaired contrast computed tomography (CT) scans to non-contrast CT scans and the other way around. Solving this task has two important applications: (i) to automatically generate contrast CT scans for patients for whom injecting contrast substance is not an option, and (ii) to enhance alignment between contrast and non-contrast CT by reducing the differences induced by the contrast substance before registration. Our approach is based on cycle-consistent generative adversarial convolutional transformers, for short, CyTran. Our neural model can be trained on unpaired images, due to the integration of a cycle-consistency loss. To deal with high-resolution images, we design a hybrid architecture based on convolutional and multi-head attention layers. In addition, we introduce a novel data set, Coltea-Lung-CT-100W, containing 3D triphasic lung CT scans (with a total of 37,290 images) collected from 100 female patients. Each scan contains three phases (non-contrast, early portal venous, and late arterial), allowing us to perform experiments to compare our novel approach with state-of-the-art methods for image style transfer. Our empirical results show that CyTran outperforms all competing methods. Moreover, we show that CyTran can be employed as a preliminary step to improve a state-of-the-art medical image alignment method. We release our novel model and data set as open source at: https://github.com/ristea/cycle-transformer.

研究动机与目标

• 开发一种方法，用于将无配对的非增强CT扫描转换为增强CT扫描，反之亦然，以支持在禁用对比剂的临床场景中应用。
• 减少对比剂引起的解剖差异，以提高增强CT与非增强CT扫描之间图像配准的准确性。
• 设计一种深度学习模型，能够在无需配对训练数据的情况下处理高分辨率3D医学图像。
• 引入一个新的大规模三相3D肺部CT数据集，用于评估医学图像中的非刚性图像转换。
• 证明所提出的图像转换模型可作为预处理步骤，提升最先进医学图像配准技术的性能。

提出的方法

• 该方法采用混合架构，结合卷积层与多头自注意力机制，以有效处理高分辨率3D CT影像。
• 通过引入循环一致性损失，实现在无配对图像分布上的训练，确保从真实非增强CT到增强CT再转换回原始图像时，重建结果接近原始输入。
• 采用基于生成对抗网络的框架，通过对抗性损失端到端训练模型，以保留真实图像的细节与纹理。
• 应用一种新颖的数据增强与归一化策略，以应对不同扫描阶段之间存在的强度与对比度差异。
• 架构中设计了跳跃连接与残差块，以稳定训练过程并提升多尺度特征学习能力。
• 在新引入的Coltea-Lung-CT-100W数据集上，通过定性与定量指标（包括结构相似性与均方误差）对模型进行评估。

实验结果

研究问题

• RQ1 基于循环一致性的变换器模型是否能在无配对训练数据的情况下，实现非增强CT与增强CT扫描之间的高保真度图像转换？
• RQ2 与现有方法相比，所提出的混合卷积-变换器架构在3D医学影像上的图像质量与结构保留方面表现如何？
• RQ3 CyTran在多大程度上可减少增强CT与非增强CT扫描之间的强度与解剖差异，从而提升后续图像配准的性能？
• RQ4 将CyTran用作预处理步骤是否能提升最先进医学图像配准方法的性能？
• RQ5 考虑到对比增强模式的多样性，该模型在不同患者解剖结构与扫描协议下的泛化能力如何？

主要发现

• 在Coltea-Lung-CT-100W数据集上，CyTran在非增强到增强CT图像转换任务中，无论在结构相似性还是感知质量方面，均优于所有对比的最先进方法。
• 该模型在图像保真度与解剖一致性方面实现了显著提升，尤其在血管结构与软组织边界方面表现突出。
• 当用作预处理步骤时，CyTran显著提升了最先进图像配准方法的准确性，降低了后续应用中的配准误差。
• 循环一致性损失有效支持了无配对数据的训练，保持了身份一致性，并最小化了图像转换过程中的分布偏移。
• 所提出的Coltea-Lung-CT-100W数据集包含37,290个3D三相肺部CT扫描，为未来医学图像转换研究提供了宝贵的基准。
• 模型与数据集已在https://github.com/ristea/cycle-transformer 开源发布，支持研究的可复现性与领域内进一步发展。