[论文解读] Convolutional Neural Networks for Histopathology Image Classification: Training vs. Using Pre-Trained Networks

Brady Kieffer, Morteza Babaie+2 more|arXiv (Cornell University)|Oct 11, 2017

AI in cancer detection参考文献 18被引用 23

一句话总结

本研究评估了在Kimia Path24数据集上，使用预训练卷积神经网络（CNN）与从零开始训练CNN在组织病理学图像分类中的表现。利用预训练网络提取的深层特征——尤其是Inception-v3——实现了更高的准确率（最高达到76.10%的top-1准确率），微调在Inception上带来了显著提升，但在VGG16上则不然，表明迁移学习在应用于医学影像任务时，若应用得当，将极为有效。

ABSTRACT

We explore the problem of classification within a medical image data-set based on a feature vector extracted from the deepest layer of pre-trained Convolution Neural Networks. We have used feature vectors from several pre-trained structures, including networks with/without transfer learning to evaluate the performance of pre-trained deep features versus CNNs which have been trained by that specific dataset as well as the impact of transfer learning with a small number of samples. All experiments are done on Kimia Path24 dataset which consists of 27,055 histopathology training patches in 24 tissue texture classes along with 1,325 test patches for evaluation. The result shows that pre-trained networks are quite competitive against training from scratch. As well, fine-tuning does not seem to add any tangible improvement for VGG16 to justify additional training while we observed considerable improvement in retrieval and classification accuracy when we fine-tuned the Inception structure.

研究动机与目标

• 评估预训练深度神经网络与从零开始训练CNN在组织病理学图像分类中的性能。
• 评估迁移学习与微调在有限医学训练数据下的分类准确率影响。
• 确定来自非医学数据集（如ImageNet）的预训练特征是否能有效泛化到组织病理学图像识别任务中。
• 研究在迁移学习有效性方面架构差异的影响，特别是VGG16与Inception-v3之间的对比。
• 为在大型标注数据集稀缺的数字病理学领域中迁移学习的可行性提供实证证据。

提出的方法

• 从在ImageNet上预训练的CNN（VGG16、Inception-v3）的最后全连接层提取深层特征。
• 在提取的特征上训练线性SVM分类器进行图像分类，且不更新网络权重。
• 通过更新网络全部或部分权重，在Kimia Path24数据集上对预训练网络进行微调。
• 在从零开始训练时，使用数据增强技术人工扩大训练集规模。
• 应用Grad-CAM可视化技术以解释模型注意力机制，并验证特征在分类中的相关性。
• 使用标准指标评估性能：top-1准确率、top-5准确率和平均精度均值（mAP）。

实验结果

研究问题

• RQ1 与从零开始训练CNN相比，来自非医学数据集的预训练CNN特征是否能在组织病理学图像上实现具有竞争力的分类性能？
• RQ2 对预训练网络进行微调是否能提升Kimia Path24数据集上的分类准确率？如果是，对哪些网络架构有效？
• RQ3 为何在此设置下，微调能提升Inception-v3的性能，却对VGG16无效？
• RQ4 与从组织病理学数据中训练得到的特征相比，预训练网络提取的深层特征在表达能力上如何？
• RQ5 迁移学习在多大程度上可以缓解标注组织病理学数据有限的挑战？

主要发现

• 预训练网络，尤其是Inception-v3，在微调后实现了74.87%的top-1准确率，显著优于从零开始训练的方法。
• 在不进行微调的情况下使用预训练特征（FE-Inception-v3）也达到了70.94%的top-1准确率，表明非医学数据中的特征具有强大的泛化能力。
• 对VGG16进行微调并未提升性能（top-1准确率为63.85%），表明其架构在此数据集上可能无法从适应中获益。
• 与仅使用特征提取相比，微调Inception-v3使top-1准确率绝对提升了3.93%，显示出其对组织病理学模式的强适应能力。
• Grad-CAM可视化结果表明，模型关注的是生物相关结构，如组织边界和纹理模式，验证了模型的可解释性。
• 本研究证明，使用预训练网络进行迁移学习是组织病理学图像分类中一种高度有效且高效的策略，尤其在标注数据有限的情况下。