[论文解读] Assessing Robustness of Deep learning Methods in Dermatological Workflow

Sourav Mishra, Subhajit Chaudhury+2 more|arXiv (Cornell University)|Jan 15, 2020

Cutaneous Melanoma Detection and Management参考文献 27被引用 7

一句话总结

本研究通过真实用户提交的图像，在模拟非理想条件（如噪声和模糊）下评估了深度学习模型在皮肤科诊断中的鲁棒性。尽管在干净数据上表现良好，但在现实临床条件下，准确率显著下降——至少下降10%，凸显了模型泛化能力的严重局限性，以及在医疗AI工作流中持续需要临床医生的监督。

ABSTRACT

This paper aims to evaluate the suitability of current deep learning methods for clinical workflow especially by focusing on dermatology. Although deep learning methods have been attempted to get dermatologist level accuracy in several individual conditions, it has not been rigorously tested for common clinical complaints. Most projects involve data acquired in well-controlled laboratory conditions. This may not reflect regular clinical evaluation where corresponding image quality is not always ideal. We test the robustness of deep learning methods by simulating non-ideal characteristics on user submitted images of ten classes of diseases. Assessing via imitated conditions, we have found the overall accuracy to drop and individual predictions change significantly in many cases despite of robust training.

研究动机与目标

• 评估深度学习模型在真实世界皮肤图像条件下（如噪声和模糊）的鲁棒性。
• 研究分布偏移和分布外样本对临床工作流中模型性能的影响。
• 使用注意力机制分析多类别皮肤科分类中的模型偏差和误分类模式。
• 识别当前深度学习方法在处理异质性、用户提交的皮肤图像时的局限性。
• 通过公开发布用于医学图像识别鲁棒性评估的源代码，促进研究可复现性。

提出的方法

• 从多样化来源收集并整理了1,000多张皮肤科图像，去除识别性特征，并由临床医生进行标注。
• 在十种皮肤疾病类别（痤疮、脱发、水疱、结痂、红斑、白化病、色素性斑点、肿瘤、溃疡和风团）上训练深度学习分类器。
• 对用户提交的图像模拟非理想条件（如 shot 噪声和运动模糊），以测试模型的鲁棒性。
• 通过在复合图像、相似疾病类别和分布外样本上进行测试，评估分布偏移下的性能表现。
• 使用注意力图解释模型决策，识别对痤疮和水疱等特定类别存在的偏差。
• 通过在干净数据与退化数据上的消融实验，量化在真实临床条件下性能下降的程度。

实验结果

研究问题

• RQ1 在皮肤图像分类中，深度学习性能在常见图像伪影（如 shot 噪声和运动模糊）下如何退化？
• RQ2 分布偏移（尤其是相似疾病类别之间）在多大程度上影响模型的泛化能力和准确率？
• RQ3 多类别皮肤科分类中模型偏差的主要来源是什么，它们在注意力图中如何表现？
• RQ4 在理想数据上训练的深度学习模型，能否在真实世界、用户提交的、质量参差不齐的图像上保持可靠的性能？
• RQ5 深度学习模型在干净、整理过的数据与非理想、具有临床代表性的数据之间的性能表现有何差异？

主要发现

• 在非理想、用户提交的图像上，模型的 Top-1 准确率下降至32%，表明在真实世界条件下存在显著的性能差距。
• 只有痤疮和脱发两个类别达到超过70%的准确率（分别为70%和73%），其余类别性能显著下降。
• 分类器对痤疮和水疱存在强烈偏好，误分类模式表明其过度依赖特定视觉线索。
• 在模拟噪声和模糊条件下，性能下降至少10%，表明对常见图像伪影的鲁棒性极差。
• 在复合图像、相似疾病类别（如溃疡和结痂）上的测试揭示了准确率急剧下降，凸显了区分过渡性或重叠性病理的挑战。
• 注意力图显示，模型聚焦于非区分性特征，表明其泛化能力有限，无法超越训练数据中的模式。