[论文解读] Towards Automated Melanoma Screening: Proper Computer Vision & Reliable Results.

Michel Fornaciali, Micael Carvalho+3 more|arXiv (Cornell University)|Apr 14, 2016

Cutaneous Melanoma Detection and Management参考文献 70被引用 24

一句话总结

本文提出两种基于先进视觉词袋（BoVW）和深度神经网络（DNN）的现代计算机视觉流水线，用于自动化黑色素瘤筛查，其性能显著优于传统方法。基于DNN的模型AUC达到89.3%，远超传统BoVW基线模型的81.2%。同时，本文倡导通过方法透明化和代码共享，提升医学影像研究的可重现性。

ABSTRACT

In this paper we survey, analyze and criticize current art on automated melanoma screening, reimplementing a baseline technique, and proposing two novel ones. Melanoma, although highly curable when detected early, ends as one of the most dangerous types of cancer, due to delayed diagnosis and treatment. Its incidence is soaring, much faster than the number of trained professionals able to diagnose it. Automated screening appears as an alternative to make the most of those professionals, focusing their time on the patients at risk while safely discharging the other patients. However, the potential of automated melanoma diagnosis is currently unfulfilled, due to the emphasis of current literature on outdated computer vision models. Even more problematic is the irreproducibility of current art. We show how streamlined pipelines based upon current Computer Vision outperform conventional models - a model based on an advanced bags of words reaches an AUC of 84.6%, and a model based on deep neural networks reaches 89.3%, while the baseline (a classical bag of words) stays at 81.2%. We also initiate a dialog to improve reproducibility in our community

研究动机与目标

• 应对黑色素瘤发病率上升及专科医生资源不足带来的日益严重的疾病负担。
• 批判当前自动化黑色素瘤筛查的现状，指出其对过时计算机视觉模型的过度依赖。
• 提出并评估两种新颖、简化的流水线，采用现代技术：先进BoVW与深度学习。
• 证明现代高效流水线可在无需复杂预处理（如去毛发或病灶分割）的情况下，超越传统方法的性能。
• 发起关于提升医学计算机视觉研究中可重现性与实验有效性的对话。

提出的方法

• 重新实现一个经典的视觉词袋（BoVW）流水线作为对比基线。
• 利用BossaNova框架开发一种现代BoVW流水线，以提升特征表示能力。
• 采用迁移学习实现深度神经网络（DNN）模型，实现端到端的特征学习与分类。
• 设计一种简化流水线，省去去毛发和病灶分割步骤，专注于直接从完整皮肤镜图像进行分类。
• 使用一个公开的、商业授权的皮肤镜图像数据集，并采用严格的训练-测试划分，以确保实验有效性。
• 应用交叉验证，并通过冻结测试集进行压力测试，以防止数据泄露和污染。

实验结果

研究问题

• RQ1 现代计算机视觉技术（如先进BoVW与深度学习）是否能在自动化黑色素瘤筛查中超越传统过时模型？
• RQ2 省去去毛发与病灶分割步骤的简化流水线，在多大程度上可实现可靠性能？
• RQ3 当前自动化黑色素瘤筛查研究为何普遍难以重现？其根本原因是什么？
• RQ4 在医学影像研究中，特别是小样本数据集下，如何提升实验有效性？
• RQ5 未来研究中可采取哪些实用指南以增强可重现性与透明度？

主要发现

• 基于DNN的模型AUC达到89.3%，显著优于传统BoVW基线模型的81.2%。
• 采用BossaNova框架的先进BoVW模型AUC达到84.6%，表明现代特征表示方法优于传统BoVW。
• 省去去毛发与病灶分割步骤的简化流水线仍能实现高性能，表明这些预处理步骤并非可靠分类的必要条件。
• 本研究发现，当前文献中普遍存在可重现性问题，原因包括方法描述不充分、代码未公开以及数据未共享。
• 作者提倡采用跨数据集验证协议和冻结测试集，以提升实验有效性，尤其适用于小样本医学应用。
• 本研究指出，即使小样本数据集也容易因超参数调优和数据泄露而被污染，从而导致结果无效。