[论文解读] FFusionCGAN: An end-to-end fusion method for few-focus images using conditional GAN in cytopathological digital slides

Xiebo Geng, Sibo Liua+8 more|arXiv (Cornell University)|Jan 3, 2020

Advanced Image Fusion Techniques参考文献 9被引用 5

一句话总结

该论文提出FFusionCGAN，一种基于端到端条件生成对抗网络（conditional GAN）的方法，用于将少量对焦或单对焦的细胞病理学数字切片融合为高质量、全对焦的图像。通过将U-Net与DenseBlock结合的生成器与语义分割网络集成，以识别模糊区域，模型学习直接进行图像到图像的转换，无需手工设计的融合规则，从而实现更优的纹理清晰度和景深效果。

ABSTRACT

Multi-focus image fusion technologies compress different focus depth images into an image in which most objects are in focus. However, although existing image fusion techniques, including traditional algorithms and deep learning-based algorithms, can generate high-quality fused images, they need multiple images with different focus depths in the same field of view. This criterion may not be met in some cases where time efficiency is required or the hardware is insufficient. The problem is especially prominent in large-size whole slide images. This paper focused on the multi-focus image fusion of cytopathological digital slide images, and proposed a novel method for generating fused images from single-focus or few-focus images based on conditional generative adversarial network (GAN). Through the adversarial learning of the generator and discriminator, the method is capable of generating fused images with clear textures and large depth of field. Combined with the characteristics of cytopathological images, this paper designs a new generator architecture combining U-Net and DenseBlock, which can effectively improve the network's receptive field and comprehensively encode image features. Meanwhile, this paper develops a semantic segmentation network that identifies the blurred regions in cytopathological images. By integrating the network into the generative model, the quality of the generated fused images is effectively improved. Our method can generate fused images from only single-focus or few-focus images, thereby avoiding the problem of collecting multiple images of different focus depths with increased time and hardware costs. Furthermore, our model is designed to learn the direct mapping of input source images to fused images without the need to manually design complex activity level measurements and fusion rules as in traditional methods.

研究动机与目标

• 解决在细胞病理学数字切片中多对焦图像融合的挑战，由于时间或硬件限制，难以获取多对焦深度图像。
• 克服传统融合方法依赖手工设计融合规则和活动水平度量的局限性。
• 开发一种端到端的深度学习框架，能够从单张或少量对焦输入生成高质量融合图像。
• 通过结合U-Net与DenseBlock的新型架构，提升生成器的特征表示能力和感受野。
• 通过集成语义分割网络检测并引导细胞病理学图像中模糊区域的重建，从而提升融合质量。

提出的方法

• 提出一种条件生成对抗网络框架，其中生成器学习将输入的单张或少量对焦图像映射为全对焦的融合图像。
• 设计一种混合生成器架构，结合U-Net的跳跃连接与特征传播能力，以及DenseBlock以增强特征重用和感受野。
• 集成语义分割网络以识别输入图像中的模糊区域，从而指导生成器优先提升这些区域的清晰度。
• 通过对抗损失端到端训练生成器与判别器，以保留融合输出中的纹理细节和真实感。
• 采用感知损失与循环一致性损失，以提升融合图像的结构保真度并减少伪影。
• 通过直接从数据中学习映射关系，消除对手工设计融合规则或对焦度量计算的需求。

实验结果

研究问题

• RQ1 基于条件生成对抗网络的模型能否仅从一张或少数几张对焦图像中有效生成高质量的融合图像，应用于细胞病理学全切片图像？
• RQ2 集成语义分割网络以检测模糊区域，如何提升融合输出的质量？
• RQ3 与标准架构相比，所提出的U-Net与DenseBlock混合生成器架构在特征表示和感受野扩展方面提升了多少？
• RQ4 端到端学习方法是否优于依赖预定义融合规则和对焦度量的传统融合方法？
• RQ5 该模型能否在多种细胞病理学切片类型上实现良好泛化，并保持高纹理清晰度与景深效果？

主要发现

• 所提出的FFusionCGAN模型可仅使用一张或两张输入对焦图像成功生成融合图像，无需获取多对焦深度图像。
• 语义分割网络的集成显著提升了复杂细胞结构中先前模糊区域的清晰度。
• 混合U-Net与DenseBlock的生成器在特征编码与感受野扩展方面表现更优，从而产生更真实、更细节丰富的融合输出。
• 在纹理清晰度与景深方面，该模型优于传统融合方法，经SSIM与PSNR等定量指标验证。
• 通过端到端训练且无需手工融合规则，模型在多种细胞病理学切片样本中表现出更一致且稳健的性能。
• 该方法在大尺寸全切片图像上展现出强大的泛化能力，适用于临床数字病理学工作流程。