[论文解读] CT-Realistic Lung Nodule Simulation from 3D Conditional Generative Adversarial Networks for Robust Lung Segmentation

Dakai Jin, Ziyue Xu+3 more|arXiv (Cornell University)|Jun 11, 2018

Lung Cancer Diagnosis and Treatment被引用 24

一句话总结

本文提出一种新型的3D条件生成对抗网络（CGAN），结合多掩码重建损失，以周围肺组织为条件生成逼真的肺结节，提升了病理肺部分割的鲁棒性。该方法显著增强了P-HNN模型在难以分割的外周结节上的表现，Dice分数从0.964提升至0.989，Hausdorff距离减少2.4mm。

ABSTRACT

Data availability plays a critical role for the performance of deep learning systems. This challenge is especially acute within the medical image domain, particularly when pathologies are involved, due to two factors: 1) limited number of cases, and 2) large variations in location, scale, and appearance. In this work, we investigate whether augmenting a dataset with artificially generated lung nodules can improve the robustness of the progressive holistically nested network (P-HNN) model for pathological lung segmentation of CT scans. To achieve this goal, we develop a 3D generative adversarial network (GAN) that effectively learns lung nodule property distributions in 3D space. In order to embed the nodules within their background context, we condition the GAN based on a volume of interest whose central part containing the nodule has been erased. To further improve realism and blending with the background, we propose a novel multi-mask reconstruction loss. We train our method on over 1000 nodules from the LIDC dataset. Qualitative results demonstrate the effectiveness of our method compared to the state-of-art. We then use our GAN to generate simulated training images where nodules lie on the lung border, which are cases where the published P-HNN model struggles. Qualitative and quantitative results demonstrate that armed with these simulated images, the P-HNN model learns to better segment lung regions under these challenging situations. As a result, our system provides a promising means to help overcome the data paucity that commonly afflicts medical imaging.

研究动机与目标

• 为解决医学影像中罕见或复杂病理病例（如外周肺结节）的数据稀缺问题。
• 提升P-HNN模型在病理肺部分割中的鲁棒性，该模型在外周结节边界接触肺组织时表现不佳。
• 利用条件生成对抗网络生成高保真、上下文感知的肺结节，使其自然融入周围组织。
• 评估生成对抗网络合成的数据是否能有效增强训练数据，并提升在边缘病例上的分割性能。

提出的方法

• 训练一个3D条件生成对抗网络，以包含中心结节区域被擦除的感兴趣体积（VOI）为条件生成肺结节。
• 生成器采用类似U-Net的架构，基于周围VOI提供的上下文组织特征重建结节。
• 提出一种新型多掩码重建损失，以强制生成结节与周围组织在外观和边界上的一致性。
• 该损失通过组合多个二值掩码，在不同空间尺度上引导重建，减少边界伪影。
• 使用LIDC数据集中的超过1,000个结节对CGAN进行训练，损失函数结合对抗损失与多掩码L1损失。
• 通过迁移学习策略，使用生成的模拟结节对P-HNN模型进行微调，以应对边缘情况，特别是外周结节。

实验结果

研究问题

• RQ1 3D条件生成对抗网络能否在CT扫描中生成与周围肺组织上下文一致的逼真肺结节？
• RQ2 与标准L1损失或对抗损失相比，引入多掩码重建损失是否能提升生成结节的真实感与融合质量？
• RQ3 生成对抗网络合成的结节数据能否有效提升判别性分割模型（如P-HNN）在外周结节等挑战性病例上的性能？
• RQ4 合成数据的质量如何影响肺部分割模型在病理影像中的泛化能力与鲁棒性？

主要发现

• 所提出的CGAN结合多掩码损失可生成高质量、逼真的结节，实现自然融合且边界伪影极少，优于仅使用L1损失或Isola等人方法的模型。
• 使用CGAN生成的数据对P-HNN模型进行微调后，其在外周结节上的平均Dice分数从0.964提升至0.989。
• Hausdorff距离减少2.4mm，平均表面距离减少1.2mm，表明边界对齐性能更优。
• 在最坏情况下的改进最为显著，证明了模型在边缘情况下的鲁棒性显著增强。
• 该方法通过生成上下文准确、多样化的合成结节，有效缓解了医学影像中的数据瓶颈问题。
• 视觉结果证实，使用CGAN数据微调后的P-HNN模型在外周结节上生成的分割掩膜更准确且解剖学上更合理。