[论文解读] GAN based Unsupervised Segmentation: Should We Match the Exact Number of Objects

Quan Liu, Isabella Gaeta+3 more|arXiv (Cornell University)|Oct 22, 2020

Cell Image Analysis Techniques参考文献 20被引用 4

一句话总结

本文提出了一种基于 GAN 的新型无监督分割方法，用于荧光显微镜下高度重叠的亚细胞微绒毛。该方法引入了微粒级匹配以对每个小批量中的目标数量进行对齐，但发现宏观级匹配——尤其是结合高斯平滑和噪声增强时——可实现更优的分割性能，其在定性和定量结果上均优于微粒级匹配（Dice 分数：0.6169 vs. 0.5730）。

ABSTRACT

The unsupervised segmentation is an increasingly popular topic in biomedical image analysis. The basic idea is to approach the supervised segmentation task as an unsupervised synthesis problem, where the intensity images can be transferred to the annotation domain using cycle-consistent adversarial learning. The previous studies have shown that the macro-level (global distribution level) matching on the number of the objects (e.g., cells, tissues, protrusions etc.) between two domains resulted in better segmentation performance. However, no prior studies have exploited whether the unsupervised segmentation performance would be further improved when matching the exact number of objects at micro-level (mini-batch level). In this paper, we propose a deep learning based unsupervised segmentation method for segmenting highly overlapped and dynamic sub-cellular microvilli. With this challenging task, both micro-level and macro-level matching strategies were evaluated. To match the number of objects at the micro-level, the novel fluorescence-based micro-level matching approach was presented. From the experimental results, the micro-level matching did not improve the segmentation performance, compared with the simpler macro-level matching.

研究动机与目标

• 开发首个基于深度学习的无监督方法，用于荧光显微镜下亚细胞微绒毛的分割。
• 探究在小批量级别（微粒级）的目标数量匹配是否能提升分割性能，相较于标准的全局分布级别（宏观级）匹配。
• 评估数据增强策略（平滑、噪声、亮度）对无监督训练中模拟掩膜生成的影响。
• 通过利用荧光图像的多通道特性，实现在无需额外人工标注的情况下进行目标计数。

提出的方法

• 使用 CycleGAN 实现真实强度图像与微绒毛模拟二值掩膜之间的循环一致性图像合成。
• 利用绿色荧光通道在真实图像中自动计数微绒毛，以实现每个小批量内的微粒级匹配。
• 通过专用模拟器生成与小批量中目标数量匹配的模拟掩膜，从而实现微粒级配对。
• 对模拟掩膜应用数据增强（高斯平滑、随机噪声、亮度变化）以提升泛化能力。
• 在合成图像-掩膜对上训练 U-Net 分割网络，完全不依赖任何人工标注数据，仅使用 CycleGAN 生成的数据。
• 通过 128×128 小 patch 重建最终预测结果，使用 Dice 相似性系数在多个真实掩膜宽度（w=1 至 w=5）下评估分割性能。

实验结果

研究问题

• RQ1 与宏观级匹配相比，小批量内目标数量的微粒级匹配是否能提升无监督分割性能？
• RQ2 荧光显微镜的多通道特性是否能够实现无需额外标注的准确、自动目标计数，以支持微粒级配对？
• RQ3 不同的数据增强策略（平滑、噪声、亮度）如何影响合成掩膜的质量及下游分割性能？
• RQ4 在泛化到未见测试数据时，宏观级匹配是否比微粒级匹配更具鲁棒性？
• RQ5 对于无监督微绒毛分割，何种增强与匹配策略的组合最为理想？

主要发现

• 结合高斯平滑与随机噪声增强的宏观级匹配在 w=5 宽度下取得了最高的 Dice 分数 0.6169，优于所有微粒级配置。
• 微粒级匹配并未提升分割性能；其最佳结果（Dice 分数 0.5730）低于最佳宏观级结果。
• 在宏观级配对数据上训练的 U-Net 模型比在微粒级配对数据上训练的模型在新测试数据上泛化能力更强。
• 微粒级配对因对齐更精细，训练集准确率更高，但该优势未转化为更好的泛化性能。
• 标准的宏观级匹配策略在无监督亚细胞分割任务中仍比微粒级匹配更具鲁棒性和有效性。
• 在模拟掩膜上结合高斯平滑与随机噪声显著提升了所有评估宽度下的分割性能。