[论文解读] Anatomically constrained CT image translation for heterogeneous blood vessel segmentation

Giammarco La Barbera, Haithem Boussaid+5 more|arXiv (Cornell University)|Oct 4, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了一种解剖结构约束的CycleGAN，用于在增强对比（ceCT）与非增强（CT）CT扫描之间进行无配对的CT图像转换，提升了结构一致性与分割性能。通过整合自监督身体回归与感兴趣区域选择，该方法生成了高保真度、解剖学上合理的图像，其血管分割准确率与真实CT扫描相当。

ABSTRACT

Anatomical structures such as blood vessels in contrast-enhanced CT (ceCT) images can be challenging to segment due to the variability in contrast medium diffusion. The combined use of ceCT and contrast-free (CT) CT images can improve the segmentation performances, but at the cost of a double radiation exposure. To limit the radiation dose, generative models could be used to synthesize one modality, instead of acquiring it. The CycleGAN approach has recently attracted particular attention because it alleviates the need for paired data that are difficult to obtain. Despite the great performances demonstrated in the literature, limitations still remain when dealing with 3D volumes generated slice by slice from unpaired datasets with different fields of view. We present an extension of CycleGAN to generate high fidelity images, with good structural consistency, in this context. We leverage anatomical constraints and automatic region of interest selection by adapting the Self-Supervised Body Regressor. These constraints enforce anatomical consistency and allow feeding anatomically-paired input images to the algorithm. Results show qualitative and quantitative improvements, compared to stateof-the-art methods, on the translation task between ceCT and CT images (and vice versa).

研究动机与目标

• 解决ceCT图像中对比度异质性的问题，该问题阻碍了准确的血管分割。
• 通过使用生成模型合成一种CT模态（ceCT或CT）以减少辐射暴露，而非同时获取两种模态。
• 在无配对、逐切片的3D体数据转换中，提升3D图像转换的保真度与解剖一致性。
• 在无配对训练数据的情况下，实现高质量且解剖一致的CT图像合成。
• 验证合成的CT图像是否可支持与真实CT扫描相当的分割性能。

提出的方法

• 通过自监督身体回归器（SSBR）改进CycleGAN，以自动识别解剖相关区域（特别是肾脏区域），实现切片对齐。
• 提出基于位置的选择（PBS）策略，依据解剖标志（如肾脏）在ceCT与CT体数据间选择对应切片。
• 在应用图像转换模型前，使用SimpleITK进行3D仿射配准以对齐体数据。
• 采用U-Net作为生成器，Patch-GAN作为判别器，并结合循环一致性损失与对抗性损失。
• 通过确保生成切片与输入切片具有相同的解剖内容，引入解剖约束。
• 采用多阶段训练流程：3D配准、基于PBS/SSBR的切片选择、以及基于CycleGAN的图像转换。

实验结果

研究问题

• RQ1 在无配对数据的情况下，解剖约束是否能提升3D CT图像转换的保真度与一致性？
• RQ2 基于解剖标志（如肾脏）的切片选择是否能增强无配对CT图像转换中的结构对齐与转换质量？
• RQ3 合成的CT图像能否实现与真实CT图像相当的、针对异质性血管的分割性能？
• RQ4 与最先进无配对图像转换模型（如标准CycleGAN、UNIT）相比，所提方法在视觉与定量质量方面表现如何？
• RQ5 生成图像中的解剖一致性在多大程度上可减少伪影并提升下游分割任务性能？

主要发现

• 使用合成CT图像在真实ceCT上进行分割，动脉的Dice分数达到70.01 ± 3.99，静脉达到56.55 ± 20.20，与真实CT扫描性能相当。
• 与标准CycleGAN和UNIT基线相比，本方法的合成CT图像在分割性能上表现更优，相较于基于PBS的CycleGAN，动脉Dice分数绝对提升4.45%。
• 采用SSBR与基于PBS的切片选择显著减少了解剖错位，提升了生成图像的结构一致性。
• 该方法将HD95（豪斯多夫距离）降低至13.47 ± 10.09 mm（动脉）与20.93 ± 22.96 mm（静脉），表明分割边界精度更高。
• 在一位对比度高度异质的患者中，使用合成CT图像的分割结果达到动脉Dice分数70.15 ± 3.52，静脉为37.00 ± 16.11，优于仅使用真实ceCT的分割性能。
• 视觉对比结果表明，与基线模型相比，生成图像的伪影更少，解剖合理性更高。