[论文解读] Recent advances in deep learning applied to skin cancer detection

André G. C. Pacheco, Renato A. Krohling|arXiv (Cornell University)|Dec 6, 2019

Cutaneous Melanoma Detection and Management参考文献 35被引用 11

一句话总结

本文综述了深度学习在自动化皮肤癌检测中的最新进展，重点介绍了卷积神经网络（CNNs）和集成模型在皮肤镜图像和临床图像上实现皮肤科医生水平性能的研究。文章强调了在智能手机上部署模型所面临的挑战，包括数据隐私问题，以及对可解释人工智能的需求，主张通过视觉问答（VQA）和多模态成像技术提升临床实用性与在资源匮乏环境中的可及性。

ABSTRACT

Skin cancer is a major public health problem around the world. Its early detection is very important to increase patient prognostics. However, the lack of qualified professionals and medical instruments are significant issues in this field. In this context, over the past few years, deep learning models applied to automated skin cancer detection have become a trend. In this paper, we present an overview of the recent advances reported in this field as well as a discussion about the challenges and opportunities for improvement in the current models. In addition, we also present some important aspects regarding the use of these models in smartphones and indicate future directions we believe the field will take.

研究动机与目标

• 综述用于自动化皮肤癌检测的最先进深度学习模型，特别是CNN和集成方法。
• 识别在现实环境中部署这些模型的关键挑战，尤其是在偏远或资源匮乏地区使用智能手机时。
• 考察伦理和技术问题，如数据隐私、患者保密性以及移动医疗应用中的模型透明度。
• 提出未来方向，包括多模态成像（临床、皮肤镜、组织病理学）和视觉问答（VQA），以提升临床医生信任度和诊断可解释性。
• 倡导在面向消费者的皮肤癌检测应用程序公开发布前，采用轻量化模型设计和专家认证。

提出的方法

• 利用大规模皮肤镜数据集（如ISIC档案库，25,331张训练图像，8,238张测试图像）训练和评估深度学习模型。
• 采用预训练的非常深的CNN架构（包括残差网络）以在皮肤病变分类任务中实现高诊断准确率。
• 应用集成学习技术，结合多种CNN架构以提升模型鲁棒性和预测性能。
• 采用迁移学习，将基于大型临床图像集合（如Esteva等人研究中的129,450张图像数据集）训练的模型适配至新的诊断任务。
• 探索多模态数据融合，包括临床图像、皮肤镜图像和组织病理学图像，以增强诊断推理能力。
• 提出一种视觉问答（VQA）框架，使临床医生能够查询模型预测结果，从而提升可解释性和临床相关性。

实验结果

研究问题

• RQ1 深度学习模型，特别是CNN和集成方法，在皮肤镜图像和临床图像上分类皮肤癌的表现与皮肤科医生相比如何？
• RQ2 在互联网接入有限的地区部署皮肤癌检测模型时，面临的主要技术和伦理挑战是什么，尤其是在智能手机上？
• RQ3 如何提升模型的可解释性和透明度，以确保患者信任和临床采纳？
• RQ4 多模态成像（临床、皮肤镜、组织病理学）在多大程度上能提升诊断准确率和临床实用性？
• RQ5 视觉问答（VQA）在提升临床医生对基于AI的皮肤癌检测系统可用性和接受度方面发挥什么作用？

主要发现

• 深度学习模型，特别是集成CNN，已在ISIC档案库的皮肤镜图像上实现了与皮肤科医生相当的性能，用于良性与恶性皮肤病变的分类。
• Esteva等人基于129,450张临床图像训练的模型，其诊断准确率与 board-certified（认证）皮肤科医生相当，但该数据集仍为私有，研究社区无法访问。
• 尽管性能优异，当前基于智能手机的应用程序通常依赖服务器端推理，导致在无互联网连接的偏远地区功能受限。
• 大量现有智能手机应用程序在作者身份、数据处理和临床验证方面缺乏透明度，引发了患者安全和数据隐私方面的担忧。
• 黑色素瘤检测中的假阴性结果可能导致治疗延迟和潜在死亡，凸显了在公开发布前进行严格测试和专家认证的必要性。
• 未来系统应整合多模态成像并采用VQA框架，以提升可解释性和临床医生参与度，从单纯的二分类迈向交互式诊断支持。