[论文解读] LCAUnet: A skin lesion segmentation network with enhanced edge and body fusion

Qisen Ma, Keming Mao+3 more|arXiv (Cornell University)|May 1, 2023

Cutaneous Melanoma Detection and ManagementMedicine被引用 3

一句话总结

LCAUnet 提出了一种U形分割网络，通过双分支编码器、局部交叉注意力融合模块（LCAF）和先验引导的多尺度融合（PGMF），实现边缘与主体特征的融合，从而提升皮肤病变分割性能。该方法在ISIC 2017、ISIC 2018和PH2数据集上达到最先进水平，相较于基线模型，IoU最高提升8.87%，Dice最高提升7.03%。

ABSTRACT

Accurate segmentation of skin lesions in dermatoscopic images is crucial for the early diagnosis of skin cancer and improving the survival rate of patients. However, it is still a challenging task due to the irregularity of lesion areas, the fuzziness of boundaries, and other complex interference factors. In this paper, a novel LCAUnet is proposed to improve the ability of complementary representation with fusion of edge and body features, which are often paid little attentions in traditional methods. First, two separate branches are set for edge and body segmentation with CNNs and Transformer based architecture respectively. Then, LCAF module is utilized to fuse feature maps of edge and body of the same level by local cross-attention operation in encoder stage. Furthermore, PGMF module is embedded for feature integration with prior guided multi-scale adaption. Comprehensive experiments on public available dataset ISIC 2017, ISIC 2018, and PH2 demonstrate that LCAUnet outperforms most state-of-the-art methods. The ablation studies also verify the effectiveness of the proposed fusion techniques.

研究动机与目标

• 解决皮肤镜图像中不规则形状和模糊边界病变分割不准确的挑战。
• 克服现有方法主要关注病变主体而忽略边缘特征的局限性。
• 在存在毛发、标尺和染色等图像干扰的情况下，提升分割的鲁棒性。
• 通过注意力机制和引导融合策略，融合多尺度、互补的边缘-主体特征，增强特征表征能力。
• 构建统一的深度学习框架，结合CNN与Transformer架构，实现更优的分割性能。

提出的方法

• 采用双分支编码器：基于CNN的分支用于边缘特征提取，基于Transformer的分支用于主体特征学习。
• 引入局部交叉注意力融合（LCAF）模块，在同一编码器层级通过局部交叉注意力机制融合边缘与主体特征。
• 在解码器中应用先验引导的多尺度融合（PGMF）模块，利用先验知识整合相邻尺度的特征。
• 使用跳跃连接结合拼接与逐元素运算，保留空间细节并增强特征传播。
• 端到端训练网络，采用二元交叉熵损失与Dice损失联合优化分割精度。
• 利用Grad-CAM可视化验证：边缘编码器聚焦于病变边界，而主体编码器捕捉全局语义信息。

实验结果

研究问题

• RQ1 与单分支模型相比，分别处理边缘与主体特征的双分支架构是否能提升皮肤病变分割的准确性？
• RQ2 局部交叉注意力融合（LCAF）在整合互补的边缘与主体特征、实现更精确边界勾勒方面效果如何？
• RQ3 先验引导的多尺度融合（PGMF）在解码器中对跨尺度特征整合的增强程度如何？
• RQ4 在统一网络架构中结合CNN与Transformer架构，是否能提升在具有挑战性的皮肤镜图像上的泛化能力与鲁棒性？
• RQ5 边缘与主体特征在分割性能中的贡献有何差异？其融合能否缓解单一模态表征的局限性？

主要发现

• LCAUnet在ISIC 2017、ISIC 2018和PH2数据集上达到最先进性能，Dice和IoU指标均优于现有SOTA方法。
• 消融实验表明，仅添加边缘编码器（EdgeEncoder）即可在ISIC 2017上使Dice提升5.27%，IoU提升6.74%，证明边缘特征的重要性。
• 与仅使用边缘编码器的基线相比，LCAF模块进一步将Dice提升1.02%，IoU提升0.63%，证实其在跨模态特征融合中的有效性。
• PGMF模块贡献显著，在基线基础上使Dice提升2.52%，IoU提升2.63%，表明其在多尺度特征整合中的关键作用。
• 完整LCAUnet模型在ISIC 2017上较基线实现8.87%的IoU提升和7.03%的Dice提升，且在ISIC 2018与PH2上也保持一致的性能增益。
• Grad-CAM可视化结果表明，边缘编码器聚焦于病变边界，主体编码器捕捉全局病变语义，验证了双分支架构的互补设计。