[论文解读] Incorporating the Knowledge of Dermatologists to Convolutional Neural Networks for the Diagnosis of Skin Lesions

Iván González-Díaz|arXiv (Cornell University)|Mar 6, 2017

Cutaneous Melanoma Detection and Management参考文献 4被引用 68

一句话总结

简短结论：本文提出一个基于卷积神经网络的系统，通过病变分割、结构感知的弱监督分割以及专门的池化/调制模块，将皮肤科医生的知识融入诊断，用于皮肤镜图像中的色素痣、黑色素瘤和脂溢性角化病的诊断。它通过数据增强并使用新颖的模块将结构信息融入诊断流程。

ABSTRACT

This report describes our submission to the ISIC 2017 Challenge in Skin Lesion Analysis Towards Melanoma Detection. We have participated in the Part 3: Lesion Classification with a system for automatic diagnosis of nevus, melanoma and seborrheic keratosis. Our approach aims to incorporate the expert knowledge of dermatologists into the well known framework of Convolutional Neural Networks (CNN), which have shown impressive performance in many visual recognition tasks. In particular, we have designed several networks providing lesion area identification, lesion segmentation into structural patterns and final diagnosis of clinical cases. Furthermore, novel blocks for CNNs have been designed to integrate this information with the diagnosis processing pipeline.

研究动机与目标

• 将专家皮肤科医生的知识融入基于CNN的皮肤病变诊断。
• 利用病变分割和结构定位来指导最终诊断。
• 开发数据增强和坐标感知处理以应对病变的变异性。
• 创建专门的网络模块以将结构信息融合到诊断中。

提出的方法

• 使用病变分割网络（FCN）从皮肤镜图像获得二值病变掩模。
• 应用数据增强模块为每个病例生成24个旋转/裁剪视图，并为每个视图计算规范化极坐标（RPC）。
• 引入一个结构分割网络，通过对弱标签进行约束优化，弱标记八种皮肤科医生相关模式。
• 修改基于 ResNet-50 的诊断网络，包含三条处理臂：(i) 标准平均池化，(ii) 规范化极性池化，以及 (iii) 基于不对称性的臂，并通过 Sum 块融合。
• 开发调制、极性池化和不对称性块，将结构图与 CNN 特征融合，并在病变区域执行基于极坐标的池化。
• 在多视图间因式分解最终诊断，并包含可选的外部特征，如患者性别、年龄和病变面积。

实验结果

研究问题

• RQ1 皮肤科医生派生的病变结构是否能提升基于CNN的皮肤病变分类？
• RQ2 弱监督结构分割是否为最终诊断提供有用的指导？
• RQ3 极坐标/旋转不变性和不对称性指标是否提升皮肤镜图像的诊断性能？
• RQ4 将结构图融合到诊断网络对分类结果的影响是什么？
• RQ5 多视图聚合是否能比单视图预测提高鲁棒性？

主要发现

• 该系统采用多分支结构，将分割与结构信息融入诊断。
• 数据增强为每个病例产生24个视图，以在训练和测试中丰富旋转鲁棒特征。
• 通过弱标签和约束优化按视图学习八个结构图，并整合到调制块中。
• 诊断网络使用三条池化/处理臂（标准、极性、不对称）来推导最终预测。
• 通过跨视图的独立性计算得到视图级输出的最终汇总以得到病例级诊断。