[论文解读] Classification of Medical Images and Illustrations in the Biomedical Literature Using Synergic Deep Learning

Jianpeng Zhang, Yong Xia+2 more|arXiv (Cornell University)|Jun 28, 2017

AI in cancer detection参考文献 7被引用 29

一句话总结

本文提出了一种协同深度学习（SDL）模型，该模型采用双深度卷积神经网络与协同信号系统，以提升生物医学文献中医学图像和插图的分类性能。通过联合学习图像对并利用对错分类图像对的纠正反馈，SDL模型在ImageCLEF2016基准测试中实现了86.58%的最先进准确率，超越了此前的最优解决方案。

ABSTRACT

The Classification of medical images and illustrations in the literature aims to label a medical image according to the modality it was produced or label an illustration according to its production attributes. It is an essential and challenging research hotspot in the area of automated literature review, retrieval and mining. The significant intra-class variation and inter-class similarity caused by the diverse imaging modalities and various illustration types brings a great deal of difficulties to the problem. In this paper, we propose a synergic deep learning (SDL) model to address this issue. Specifically, a dual deep convolutional neural network with a synergic signal system is designed to mutually learn image representation. The synergic signal is used to verify whether the input image pair belongs to the same category and to give the corrective feedback if a synergic error exists. Our SDL model can be trained 'end to end'. In the test phase, the class label of an input can be predicted by averaging the likelihood probabilities obtained by two convolutional neural network components. Experimental results on the ImageCLEF2016 Subfigure Classification Challenge suggest that our proposed SDL model achieves the state-of-the art performance in this medical image classification problem and its accuracy is higher than that of the first place solution on the Challenge leader board so far.

研究动机与目标

• 解决生物医学文献中医学图像与插图分类的挑战，其中类内差异大且类间相似性高，导致分类困难。
• 开发一种深度学习模型，通过利用两个神经网络之间的相互监督，增强表征学习能力。
• 通过协同信号系统验证类别一致性，减少对视觉相似但语义不同的图像（如CT与MR脑部扫描）的误分类。
• 在小样本、类别不平衡的医学图像数据集上实现端到端训练，并提升泛化能力。

提出的方法

• 该模型采用双-DCNN架构，其中两个基于ResNet-50的网络处理来自同一训练批次的图像对。
• 引入协同信号系统，以验证一对输入图像是否属于同一类别，当检测到不匹配时提供纠正反馈。
• 协同信号在训练过程中作为监督信号，用于优化特征表示，并增强对易混淆样本的判别能力。
• 推理阶段，通过平均两个DCNN组件的类别概率预测值生成最终分类结果，从而提升鲁棒性与准确性。
• 采用联合损失函数进行端到端训练，该函数包含用于分类的交叉熵损失和用于协同信号的对比损失组件。
• 该方法兼容任何预训练的深度神经网络架构，支持与更深层模型（如ResNet-152）的集成。

实验结果

研究问题

• RQ1 双-DCNN结合协同信号系统是否能提升在类内差异大、类间相似性高的医学图像上的分类性能？
• RQ2 协同信号机制如何增强模型区分视觉相似但语义不同的图像的能力？
• RQ3 在ImageCLEF2016子图分类任务中，采用相互反馈的双DCNN集成模型是否优于标准单网络或传统集成方法？
• RQ4 所提出的SDL模型在不同医学影像模态和插图类型上的泛化能力如何？

主要发现

• 所提出的SDL模型在ImageCLEF2016子图分类挑战数据集上实现了86.58%的测试准确率，超越了提交时的榜首解决方案。
• 在相同数据集上微调后，SDL模型中每个独立的DCNN组件相比标准ResNet-50模型，准确率均提升了超过2%。
• 模型在大多数类别上均表现出一致的性能提升，与ResNet-50相比，16个类别中有12个类别的F-score得到改善。
• 混淆矩阵显示，所有主要和次要类别均表现出高分类准确率，表明模型在类别不平衡数据上具有强大的泛化能力。
• 协同信号系统有效减少了对模糊图像对（如脑部CT与脑部MR图像）的误分类，通过在训练中强制执行类别一致性。
• 模型性能表现出强鲁棒性与可扩展性，当与更深层架构（如ResNet-152）结合时，具有进一步提升的潜力。