[论文解读] Data, Depth, and Design: Learning Reliable Models for Melanoma Screening

Eduardo Valle, Michel Fornaciali+5 more|arXiv (Cornell University)|Nov 1, 2017

Cutaneous Melanoma Detection and Management参考文献 23被引用 23

一句话总结

本研究通过2,560次全面试验，调查了深度学习用于黑色素瘤检测的10种方法论选择，发现训练数据量是主导因素（解释了近一半的性能差异），其次是测试数据增强和输入分辨率。作者提倡使用模型集成，并警告不要间接使用测试集信息，因为这会夸大结果并损害方法论的严谨性。

ABSTRACT

Deep learning fostered a leap ahead in automated melanoma screening in the last two years. Those models, however, are expensive to train and difficult to parameterize. Objective: We investigate methodological issues for designing and evaluating deep learning models for melanoma detection. We explore ten choices faced by researchers: use of transfer learning, model architecture, train dataset, image resolution, type of data augmentation, input normalization, use of segmentation, duration of training, additional use of SVM, and test data augmentation. Methods: We perform two full factorial experiment, for five different test datasets, resulting in 2560 exhaustive trials in our main experiment, and 1280 trials in our assessment of transfer learning. We analyze both with multi-way ANOVA. We use the exhaustive trials to simulate sequential decisions and ensembles, with and without the use of privileged information from the test set. Results - main experiment: Amount of train data has disproportionate influence, explaining almost half the variation in performance. Of the other factors, test data augmentation and input resolution are the most influential. Deeper models, when combined, with extra data, also help. - transfer experiment: Transfer learning is critical, its absence brings huge performance penalties. - simulations: Ensembles of models are the best option to provide reliable results with limited resources, without using privileged information and sacrificing methodological rigor. Conclusions and Significance: Advancing research on automated melanoma screening requires curating larger public datasets. Indirect use of privileged information from the test set to design the models is a subtle, but frequent methodological mistake that leads to overoptimistic results. Ensembles of models are a cost-effective alternative to the expensive full-factorial and to the unstable sequential designs.

研究动机与目标

• 调查影响自动化黑色素瘤筛查中深度学习模型性能的方法论选择。
• 评估10种设计因素（如迁移学习、数据增强和模型架构）对模型可靠性的影响。
• 识别常见方法论陷阱，例如间接使用特权测试集信息，这会导致性能估计过于乐观。
• 评估模型集成与顺序或全因子实验设计在资源受限环境下的有效性。
• 为皮肤科影像中设计稳健、可复现的深度学习模型提供基于证据的建议。

提出的方法

• 在五个测试数据集上开展两个全因子实验，共进行2,560次试验，以独立和组合方式评估10种设计因素。
• 使用多因素方差分析（multi-way ANOVA）分析所有实验配置下模型性能的方差。
• 模拟顺序模型设计和集成方法，分别在有无测试集特权信息的情况下进行评估。
• 通过比较从零开始训练的模型与在ImageNet或类似预训练权重上微调的模型，评估迁移学习的影响。
• 在所有试验中系统应用数据增强、输入归一化和分割技术，以隔离其影响。
• 评估训练时长、模型深度以及使用SVM作为后处理层对最终性能的影响。

实验结果

研究问题

• RQ1 不同的模型架构、数据增强和输入分辨率组合如何影响黑色素瘤检测性能？
• RQ2 迁移学习在黑色素瘤筛查中对模型可靠性与泛化能力的影响程度如何？
• RQ3 在模型设计过程中使用测试集的特权信息会产生何种影响，以及它如何导致性能估计偏差？
• RQ4 在性能和资源效率方面，模型集成与顺序或全因子实验设计相比表现如何？
• RQ5 哪些超参数或设计选择解释了黑色素瘤检测模型性能差异的最大比例？

主要发现

• 训练数据量解释了模型性能差异的近50%，是影响最显著的因素。
• 测试数据增强和输入分辨率分别为第二和第三大影响因素，显著提升了模型的鲁棒性和准确性。
• 深度模型结合更大规模的训练数据可获得更优性能，尤其在配合适当的数据增强时效果更明显。
• 缺乏迁移学习会导致显著的性能下降，凸显其在模型设计中的关键作用。
• 模型集成优于顺序和全因子实验设计，是一种无需依赖特权测试集信息、成本效益高且可靠的替代方案。
• 在模型开发过程中间接使用测试集信息会导致性能估计过于乐观，是常见但具有问题的方法论捷径。