[论文解读] Deeply Supervised Rotation Equivariant Network for Lesion Segmentation in Dermoscopy Images

Xiaomeng Li, Lequan Yu+2 more|arXiv (Cornell University)|Jul 8, 2018

Cutaneous Melanoma Detection and Management参考文献 13被引用 11

一句话总结

本文提出了一种深度监督的旋转等变U-Net，用于皮肤病变在皮肤镜图像中的分割，通过利用具有p4m对称性的群等变卷积（G-convolutions）来编码旋转和反射不变性。通过引入G-上采样和G-投影层，并结合深度监督，该模型在ISIC 2017数据集上实现了最先进性能，优于标准CNN和先前方法，在相同模型复杂度下表现更优。

ABSTRACT

Automatic lesion segmentation in dermoscopy images is an essential step for computer-aided diagnosis of melanoma. The dermoscopy images exhibits rotational and reflectional symmetry, however, this geometric property has not been encoded in the state-of-the-art convolutional neural networks based skin lesion segmentation methods. In this paper, we present a deeply supervised rotation equivariant network for skin lesion segmentation by extending the recent group rotation equivariant network~\cite{cohen2016group}. Specifically, we propose the G-upsampling and G-projection operations to adapt the rotation equivariant classification network for our skin lesion segmentation problem. To further increase the performance, we integrate the deep supervision scheme into our proposed rotation equivariant segmentation architecture. The whole framework is equivariant to input transformations, including rotation and reflection, which improves the network efficiency and thus contributes to the segmentation performance. We extensively evaluate our method on the ISIC 2017 skin lesion challenge dataset. The experimental results show that our rotation equivariant networks consistently excel the regular counterparts with the same model complexity under different experimental settings. Our best model achieves 77.23\%(JA) on the test dataset, outperforming the state-of-the-art challenging methods and further demonstrating the effectiveness of our proposed deeply supervised rotation equivariant segmentation network. Our best model also outperforms the state-of-the-art challenging methods, which further demonstrate the effectiveness of our proposed deeply supervised rotation equivariant segmentation network.

研究动机与目标

• 解决标准CNN在处理皮肤镜图像中旋转和反射对称性方面的局限性。
• 通过将几何对称性直接编码到网络架构中，减少对数据增强的依赖，从而提升分割性能。
• 通过利用具有p4m对称性的群等变卷积（G-convolutions），提升模型效率和泛化能力。
• 将深度监督整合到旋转等变分割框架中，以稳定训练并提升性能。
• 在ISIC 2017皮肤病变分割基准上实现最先进结果，且参数量增加极少。

提出的方法

• 通过引入G-上采样和G-投影层，将群等变CNN（G-CNNs）扩展至语义分割任务，实现在群空间中的特征变换。
• 采用具有p4m对称性的G-卷积，确保旋转和反射等变性，从而在变换中保持几何结构。
• 在解码器多个阶段引入加权损失（0.7, 0.2, 0.1）的深度监督，以稳定训练并改善特征学习。
• 通过用步长为2的G-卷积层替换ResNet-34编码器的第一个池化层，对编码器进行适配，以保留空间分辨率和对称性。
• 使用带有权重衰减和余弦学习率衰减的随机梯度下降法，从头开始训练RGB皮肤镜图像。
• 仅在基线模型中应用数据增强（90°旋转和翻转），而不在等变模型中应用，以确保公平比较。

实验结果

研究问题

• RQ1 能否在分割网络中有效编码皮肤镜图像的旋转和反射等变性，从而提升性能？
• RQ2 在旋转等变网络中，集成深度监督如何增强训练稳定性和分割精度？
• RQ3 在相同模型复杂度下，旋转等变U-Net架构是否优于标准CNN-based分割模型？
• RQ4 所提出方法是否能在不增加参数量的前提下，泛化能力优于基于数据增强的方法？
• RQ5 如G-上采样和G-投影等架构改进，对几何对称性医学图像的分割质量有何影响？

主要发现

• 所提出的（RE）-DS-U-ResnetFCN34模型取得了0.772的Jaccard指数（JA），优于最佳基线模型（ResnetFCN34*）的0.7127。
• 与标准ResNet-34基线相比，该旋转等变网络将JA提升了3.27个百分点，证明了几何归纳偏差的优势。
• 当与U-Net跳跃连接结合时，深度监督组件进一步将JA提升了2.27个百分点，表明其在等变架构中的增益作用。
• 该模型在ISIC 2017测试集上取得了0.856的Dice分数和0.936的准确率，超越了所有其他最先进提交结果。
• 该方法在保持高特异性（97.2%）的同时，显著提升了敏感性（85.4%）和阳性预测值，表明其具有鲁棒的病变检测能力。
• 消融实验确认，旋转等变性与深度监督的结合带来了最大的性能增益，验证了各组件之间的协同效应。