[论文解读] Instance Segmentation of Unlabeled Modalities via Cyclic Segmentation GAN

Leander Lauenburg, Zudi Lin+7 more|arXiv (Cornell University)|Apr 6, 2022

Advanced Electron Microscopy Techniques and Applications被引用 5

一句话总结

本文提出CySGAN，一种统一的生成对抗网络，通过整合循环一致性、自监督分割损失和数据增强，联合执行未标记成像模态（如膨胀显微镜，ExM）的图像翻译与3D实例分割。该方法显著优于微调模型和顺序的翻译-分割流水线，在新的密集ExM细胞核数据集上，相比最佳基线模型，mAP-50绝对提升5.7%。

ABSTRACT

Instance segmentation for unlabeled imaging modalities is a challenging but essential task as collecting expert annotation can be expensive and time-consuming. Existing works segment a new modality by either deploying a pre-trained model optimized on diverse training data or conducting domain translation and image segmentation as two independent steps. In this work, we propose a novel Cyclic Segmentation Generative Adversarial Network (CySGAN) that conducts image translation and instance segmentation jointly using a unified framework. Besides the CycleGAN losses for image translation and supervised losses for the annotated source domain, we introduce additional self-supervised and segmentation-based adversarial objectives to improve the model performance by leveraging unlabeled target domain images. We benchmark our approach on the task of 3D neuronal nuclei segmentation with annotated electron microscopy (EM) images and unlabeled expansion microscopy (ExM) data. Our CySGAN outperforms both pretrained generalist models and the baselines that sequentially conduct image translation and segmentation. Our implementation and the newly collected, densely annotated ExM nuclei dataset, named NucExM, are available at https://connectomics-bazaar.github.io/proj/CySGAN/index.html.

研究动机与目标

• 解决在新获取的、未标记的成像模态（如膨胀显微镜，ExM）中进行3D实例分割的挑战，此类场景下专家标注成本高且耗时长。
• 克服现有方法将图像翻译与分割视为独立、顺序执行步骤的局限性，避免因误差传播和缺乏任务特定优化而导致的性能下降。
• 开发一个统一框架，通过在标记源域上使用监督损失，以及在未标记目标域上使用自监督、基于分割的对抗损失，联合优化图像翻译与实例分割。
• 通过引入数据增强并强制在重建图像而非增强输入上实现循环一致性，提升模型的鲁棒性与泛化能力。
• 发布一个新的、密集标注的3D ExM细胞核数据集（NucExM）及代码库，以支持显微镜图像中无监督域自适应的未来研究。

提出的方法

• 提出一种循环分割生成对抗网络（CySGAN），使用单个3D U-Net同时为源域（EM）和目标域（ExM）预测分割掩码与翻译后的图像。
• 集成标准CycleGAN损失，确保源域与翻译后目标域图像之间的循环一致性，实现在无配对数据下的域迁移。
• 在标记的源域（带有掩码的EM图像）上应用监督交叉熵损失与Dice损失，以指导准确的实例分割。
• 引入结构一致性损失，强制在翻译与反向翻译后，干净图像与其重建图像之间保持循环一致性，作为对受损或噪声区域的正则化。
• 增加基于分割的对抗损失，利用预测的分割掩码提升翻译图像的真实感，并增强域间特征对齐。
• 在训练过程中引入数据增强，并在原始干净图像而非增强输入上强制实现重建图像的循环一致性，以提升模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 与顺序流水线相比，统一框架是否能通过联合优化图像翻译与实例分割，提升在未标记目标模态上的性能？
• RQ2 在3D显微镜无监督域自适应中，自监督分割损失与在干净图像上实现的循环一致性在提升模型泛化能力方面有多有效？
• RQ3 在数据受损情况下，是否在重建图像而非增强输入上强制执行循环一致性能带来更好的性能与鲁棒性？
• RQ4 在真实世界、未标记的3D显微镜数据上，所提出的CySGAN框架在多大程度上优于预训练模型与两步式翻译-分割基线？

主要发现

• 在NucExM数据集上，CySGAN的mAP-50平均得分为0.931，比第二好的方法（CycleGAN + U3D-BCD, $I_X\rightarrow I_Y$）高出5.7个百分点。
• 在用于模型优化的$V_1$体积上，若移除数据增强，mAP-50从0.927降至0.761，表明其在性能中起关键作用。
• 在$V_1$上，若移除半监督分割损失，性能从0.927降至0.878，证实其在利用未标记目标数据中的重要性。
• $I_X\rightarrow I_Y$的翻译方向在顺序基线中始终优于$I_Y\rightarrow I_X$，表明从源域到目标域的翻译对下游分割更有效。
• 视觉对比显示，Cellpose与StarDist会产生假阴性与边界错位，而CySGAN生成的实例掩码更准确且分离良好。
• 消融研究证实，数据增强与半监督损失对最优性能均不可或缺，任一缺失均导致显著性能下降。