[论文解读] Global and Local Information Based Deep Network for Skin Lesion Segmentation

Jin Qi, Miao Le+2 more|arXiv (Cornell University)|Mar 16, 2017

Cutaneous Melanoma Detection and Management参考文献 12被引用 11

一句话总结

本文提出了一种新型全卷积神经网络（FCNN），通过跳跃连接中多尺度预测图的拼接融合，利用局部和全局上下文特征进行皮肤病变分割。在VGG-16上使用迁移学习进行训练，并在ISBI 2017挑战数据集上进行测试，该方法在无需预处理或后处理的情况下实现了优异性能，结果表明通过数据增强和减少图像缩放可进一步提升性能。

ABSTRACT

With a large influx of dermoscopy images and a growing shortage of dermatologists, automatic dermoscopic image analysis plays an essential role in skin cancer diagnosis. In this paper, a new deep fully convolutional neural network (FCNN) is proposed to automatically segment melanoma out of skin images by end-to-end learning with only pixels and labels as inputs. Our proposed FCNN is capable of using both local and global information to segment melanoma by adopting skipping layers. The public benchmark database consisting of 150 validation images, 600 test images and 2000 training images in the melanoma detection challenge 2017 at International Symposium Biomedical Imaging 2017 is used to test the performance of our algorithm. All large size images (for example, $4000 imes 6000$ pixels) are reduced to much smaller images with $384 imes 384$ pixels (more than 10 times smaller). We got and submitted preliminary results to the challenge without any pre or post processing. The performance of our proposed method could be further improved by data augmentation and by avoiding image size reduction.

研究动机与目标

• 解决在对比度低、边界模糊且存在伪影的皮肤镜图像中自动进行皮肤病变分割的挑战。
• 通过在全卷积框架中有效融合局部和全局上下文信息，提升分割精度。
• 利用迁移学习开发一种稳健的、端到端可训练的网络，以缓解医学影像中数据稀缺的问题。
• 在真实条件下，对公开的ISBI 2017皮肤病变分析挑战数据集进行性能评估。

提出的方法

• 使用预训练的VGG-16网络进行特征提取，将全连接层替换为卷积层以实现密集预测。
• 在每个池化层后引入跳跃连接，每个跳跃连接后接一个1×1卷积，以生成具有两个通道（病变/皮肤）的多尺度密集预测图。
• 使用转置卷积层将所有预测图上采样至原始输入分辨率（384×384）。
• 通过在通道维数上进行拼接来融合上采样后的特征图，以保留多尺度特征表示（12通道特征图）。
• 对拼接后的特征图应用最终的1×1卷积层，生成最终的分割输出。
• 使用随机梯度下降结合迁移学习和数据增强，在ISBI 2017数据集上微调网络。

实验结果

研究问题

• RQ1 全卷积网络能否有效结合局部和全局上下文特征，以提升皮肤镜图像中皮肤病变的分割性能？
• RQ2 与逐元素相加相比，基于拼接的多尺度预测图融合在分割精度方面表现如何？
• RQ3 从ImageNet迁移学习在多大程度上可缓解因医学训练数据有限而导致的性能下降？
• RQ4 图像缩放对分割性能有何影响？模型是否能在不缩小大尺寸皮肤镜图像（如从4000×6000缩放到384×384像素）的情况下获得更优结果？

主要发现

• 所提出的方法在ISBI 2017皮肤病变分析挑战数据集上实现了具有竞争力的分割性能，且无需任何预处理或后处理。
• 定性结果表明，该方法在具有挑战性的病例中表现稳健，包括低对比度图像、具有高类内差异的病变，以及存在毛发、标尺等伪影的图像。
• 基于拼接的融合策略保留了更丰富的多尺度特征表示，增强了局部和全局特征的判别能力。
• 通过数据增强并避免将图像从4000×6000像素缩小至384×384像素，性能有望显著提升。