[论文解读] Focal-UNet: UNet-like Focal Modulation for Medical Image Segmentation

MohammadReza Naderi, MohammadHossein Givkashi+3 more|arXiv (Cornell University)|Dec 19, 2022

Advanced Neural Network Applications被引用 20

一句话总结

引入 Focal-UNet，一种类似 U-Net 的架构，将聚焦调制整合进来，以在医学图像分割中平衡局部与全局特征，在标准数据集上取得比 Swin-UNet 更高的 Dice 值和更好的 Hausdorff 指标。

ABSTRACT

Recently, many attempts have been made to construct a transformer base U-shaped architecture, and new methods have been proposed that outperformed CNN-based rivals. However, serious problems such as blockiness and cropped edges in predicted masks remain because of transformers' patch partitioning operations. In this work, we propose a new U-shaped architecture for medical image segmentation with the help of the newly introduced focal modulation mechanism. The proposed architecture has asymmetric depths for the encoder and decoder. Due to the ability of the focal module to aggregate local and global features, our model could simultaneously benefit the wide receptive field of transformers and local viewing of CNNs. This helps the proposed method balance the local and global feature usage to outperform one of the most powerful transformer-based U-shaped models called Swin-UNet. We achieved a 1.68% higher DICE score and a 0.89 better HD metric on the Synapse dataset. Also, with extremely limited data, we had a 4.25% higher DICE score on the NeoPolyp dataset. Our implementations are available at: https://github.com/givkashi/Focal-UNet

研究动机与目标

• 提出一种类似 UNet 的架构，利用聚焦调制来解决来自 transformer 基于补丁的伪影。
• 在局部 CNN 风格特征与全局 transformer 风格上下文之间实现平衡，以提高分割质量。
• 在标准医学分割基准上超过强大的基于 transformer 的 U 形模型。

提出的方法

• 提出一个具有非对称编码器-解码器深度的 U 形架构。
• 整合聚焦调制模块以聚合局部与全局特征。
• 利用聚焦机制将广泛感受野与 CNN 的局部查看融合。
• 在 Synapse 和 NeoPolyp 数据集上评估，并与 Swin-UNet 与基线进行比较。

实验结果

研究问题

• RQ1 在类似 UNet 的框架内，聚焦调制是否能提升分割质量，相对于基于 transformer 的 U 形模型？
• RQ2 将非对称的编码器-解码器深度与聚焦调制结合，是否有助于医学图像分割？
• RQ3 在数据有限的标准数据集上，Focal-UNet 的表现如何？

主要发现

• 在 Synapse 数据集上，相较于 Swin-UNet，Dice 分数提高 1.68%。
• 在 Synapse 数据集上的 Hausdorff 距离（HD）提升 0.89。
• 在极其有限的数据条件下，在 NeoPolyp 数据集上 Dice 分数提高 4.25%。
• 证明聚焦调制能够在局部与全局特征之间取得平衡，从而提高分割效果。