[论文解读] AD-GAN: End-to-end Unsupervised Nuclei Segmentation with Aligned Disentangling Training

Kai Yao, Kaizhu Huang+2 more|arXiv (Cornell University)|Jul 23, 2021

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 6

一句话总结

AD-GAN 提出了一种端到端的无监督核分割框架，通过解耦表示学习将内容（空间结构）与风格（纹理/渲染）分离，并采用一种新颖的对齐解耦训练策略，在不同域之间保持内容一致性。在四个核数据集上，其 DICE 分数相比最先进无监督方法相对提升了 16.1%，甚至优于某些有监督模型。

ABSTRACT

We consider unsupervised cell nuclei segmentation in this paper. Exploiting the recently-proposed unpaired image-to-image translation between cell nuclei images and randomly synthetic masks, existing approaches, e.g., CycleGAN, have achieved encouraging results. However, these methods usually take a two-stage pipeline and fail to learn end-to-end in cell nuclei images. More seriously, they could lead to the lossy transformation problem, i.e., the content inconsistency between the original images and the corresponding segmentation output. To address these limitations, we propose a novel end-to-end unsupervised framework called Aligned Disentangling Generative Adversarial Network (AD-GAN). Distinctively, AD-GAN introduces representation disentanglement to separate content representation (the underling spatial structure) from style representation (the rendering of the structure). With this framework, spatial structure can be preserved explicitly, enabling a significant reduction of macro-level lossy transformation. We also propose a novel training algorithm able to align the disentangled content in the latent space to reduce micro-level lossy transformation. Evaluations on real-world 2D and 3D datasets show that AD-GAN substantially outperforms the other comparison methods and the professional software both quantitatively and qualitatively. Specifically, the proposed AD-GAN leads to significant improvement over the current best unsupervised methods by an average 17.8% relatively (w.r.t. the metric DICE) on four cell nuclei datasets. As an unsupervised method, AD-GAN even performs competitive with the best supervised models, taking a further leap towards end-to-end unsupervised nuclei segmentation.

研究动机与目标

• 解决无监督核分割中的损失性转换问题，即输入图像与生成掩码之间出现的内容不一致。
• 通过端到端训练避免依赖易出错的合成数据，克服基于 CycleGAN 方法的两阶段流水线局限。
• 在无配对图像到掩码转换过程中，减少宏观层面和微观层面的内容失真，如核的删除、增加或形状偏移。
• 构建一个统一框架，使核图像与合成掩码之间的解耦内容表征共享同一潜在空间。
• 在不依赖任何标注分割掩码的前提下，实现与有监督模型相当的性能。

提出的方法

• 引入一种内容-风格解耦自编码器生成器，将空间结构（内容）与纹理（风格）分离，假设每个域具有单一的特定风格。
• 设计一个统一的 GAN 框架，使用独热编码的域标签来控制核图像与合成掩码之间的翻译方向。
• 实现一种新颖的对齐解耦训练策略，显式对齐潜在空间中的解耦内容表征，以最小化微观层面的失真。
• 结合重建损失（$\mathcal{L}_{rec}$）、循环一致性损失（$\mathcal{L}_{cyc}$）和内容重建损失（$\mathcal{L}_{ctr}$），以强制内容与风格之间的对应关系。
• 在编码器中应用 AdaIN（自适应实例归一化）以注入特定域信息，并引导翻译方向。
• 利用 t-SNE 可视化验证，在所提出的训练方案下，来自两个域的解耦内容表征在潜在空间中具有良好的对齐性。

实验结果

研究问题

• RQ1 解耦表示学习是否能减少无监督图像到掩码转换过程中核分割的宏观层面内容损失？
• RQ2 对齐解耦训练在最小化掩码中形状和位置偏移等微观失真方面有多有效？
• RQ3 所提出的框架是否通过端到端训练消除了对两阶段流水线的依赖，且不依赖可能出错的合成数据？
• RQ4 AD-GAN 的性能对合成掩码中核数量的敏感度如何，相较于 CycleGAN 和 UDCT？
• RQ5 尽管完全无监督，AD-GAN 是否能实现与有监督模型相当的性能？

主要发现

• AD-GAN 在四个 2D 和 3D 核数据集上，相比最佳现有无监督方法，DICE 分数相对提升了 16.1%。
• 该方法显著减少了宏观层面的损失性转换，保持了核的数量和空间结构，避免了删除或增加。
• 由于潜在空间中采用的对齐解耦训练策略，形状和位置偏移等微观失真显著减少。
• AD-GAN 对合成掩码中核数量的变化表现出高度鲁棒性，在不同设置下性能稳定，而 CycleGAN 和 UDCT 的性能差距超过 10%。
• 定性结果表明，AD-GAN 生成的分割掩码无明显形状差异或位置偏移，输出更加真实和准确。
• 该模型在性能上与最先进有监督分割模型相当，标志着向端到端无监督核分割迈出了重要一步。