[论文解读] FusionU-Net: U-Net with Enhanced Skip Connection for Pathology Image Segmentation

Zongyi Li, Hongbing Lyu+1 more|arXiv (Cornell University)|Oct 17, 2023

AI in cancer detection被引用 5

一句话总结

FusionU-Net 提出了一种增强的 U-Net 架构，通过在跳跃连接中应用两轮特征融合模块，减少了编码器与解码器特征之间的语义鸿沟。通过使用重新组织的特征图和分组卷积，在下采样和上采样两个方向上融合相邻编码器层的输出，该方法保持了局部空间相关性，并在多个病理分割基准上实现了参数更少的最先进性能。

ABSTRACT

In recent years, U-Net and its variants have been widely used in pathology image segmentation tasks. One of the key designs of U-Net is the use of skip connections between the encoder and decoder, which helps to recover detailed information after upsampling. While most variations of U-Net adopt the original skip connection design, there is semantic gap between the encoder and decoder that can negatively impact model performance. Therefore, it is important to reduce this semantic gap before conducting skip connection. To address this issue, we propose a new segmentation network called FusionU-Net, which is based on U-Net structure and incorporates a fusion module to exchange information between different skip connections to reduce semantic gaps. Unlike the other fusion modules in existing networks, ours is based on a two-round fusion design that fully considers the local relevance between adjacent encoder layer outputs and the need for bi-directional information exchange across multiple layers. We conducted extensive experiments on multiple pathology image datasets to evaluate our model and found that FusionU-Net achieves better performance compared to other competing methods. We argue our fusion module is more effective than the designs of existing networks, and it could be easily embedded into other networks to further enhance the model performance.

研究动机与目标

• 为解决 U-Net 中编码器与解码器特征之间的语义鸿沟问题，该问题会降低分割性能。
• 通过利用相邻编码器层之间的局部相关性，改进跳跃连接上的特征融合。
• 设计一种更有效的融合机制，实现在多层之间的双向信息交换。
• 在上采样/下采样过程中保持空间邻近性，以减少病理图像中的信息损失。
• 设计一种轻量化、可嵌入的模块，以在各种分割网络中提升性能。

提出的方法

• 提出两轮融合设计：首先从浅层到深层编码器层进行融合，然后反向进行，以实现双向信息流动。
• 应用一种新颖的重新组织与分组卷积方法，在特征图变换过程中保持局部特征邻近性。
• 使用 DownFuse 和 UpFuse 模块，在跳跃连接前对相邻编码器层输出进行特征融合。
• 采用简化编码器结构，参数极少，专注于融合模块的有效性而非复杂架构。
• 用重新组织和分组卷积替代标准池化和卷积操作，以减少特征图重排过程中的信息损失。
• 在解码器中应用基于 CCA 的注意力机制以实现精细化特征优化，而主要创新点在于编码器侧的融合。

实验结果

研究问题

• RQ1 在相邻编码器层输出之间采用两轮融合机制，是否能改善特征表示并减少 U-Net 中的语义鸿沟？
• RQ2 在特征图上采样/下采样过程中保持局部空间邻近性，是否能提升病理图像的分割精度？
• RQ3 与现有方法相比，所提出的融合模块在性能和参数效率方面表现如何？
• RQ4 当将该融合模块嵌入基础 U-Net 架构时，其性能提升程度如何？
• RQ5 该融合模块是否具有通用性，并能有效应用于其他分割网络？

主要发现

• 在 PanNuke 数据集上，FusionU-Net 的平均 Dice 分数达到 57.29，优于基线 U-Net 和其他最先进模型。
• 消融实验表明，结合 DownFuse 和 UpFuse 模块可获得最高性能，相比无融合基线，平均 Dice 提升了 3.47 分。
• 与池化和标准卷积相比，使用重新组织的特征图结合分组卷积，平均 Dice 提升了 0.4 分。
• UpFuse 模块的贡献大于 DownFuse，表明向上游信息流动在弥合语义鸿沟方面更为关键。
• 尽管使用了简单的编码器，FusionU-Net 的性能仍可与参数更大的模型（如 TransUNet 和 UNet++）相媲美，证明了融合模块的有效性。
• 该模型仅需 34.98M 参数和 97.15G FLOPs，展现出高效率与强大性能的结合。