[论文解读] Chest X-rays Classification: A Multi-Label and Fine-Grained Problem

Zongyuan Ge, Dwarikanath Mahapatra+3 more|arXiv (Cornell University)|Jul 19, 2018

COVID-19 diagnosis using AI参考文献 11被引用 28

一句话总结

本文提出了一种新颖的多标签 Softmax 损失（MSML），用于胸部 X 光片分类，解决了医学影像中多标签、细粒度和类别不平衡的挑战。通过将 MSML 与使用双线性池化的细粒度特征学习框架相结合，该方法在 ChestX-ray14 数据集上实现了 0.8537 的 AUC-ROC 最先进得分，优于包括 DenseNet-121 在内的现有模型。

ABSTRACT

The widely used ChestX-ray14 dataset addresses an important medical image classification problem and has the following caveats: 1) many lung pathologies are visually similar, 2) a variant of diseases including lung cancer, tuberculosis, and pneumonia are present in a single scan, i.e. multiple labels and 3) The incidence of healthy images is much larger than diseased samples, creating imbalanced data. These properties are common in medical domain. Existing literature uses stateof- the-art DensetNet/Resnet models being transfer learned where output neurons of the networks are trained for individual diseases to cater for multiple diseases labels in each image. However, most of them don't consider relationship between multiple classes. In this work we have proposed a novel error function, Multi-label Softmax Loss (MSML), to specifically address the properties of multiple labels and imbalanced data. Moreover, we have designed deep network architecture based on fine-grained classification concept that incorporates MSML. We have evaluated our proposed method on various network backbones and showed consistent performance improvements of AUC-ROC scores on the ChestX-ray14 dataset. The proposed error function provides a new method to gain improved performance across wider medical datasets.

研究动机与目标

• 解决医学影像中胸部 X 光片分类的多标签、细粒度和类别不平衡问题。
• 在 ChestX-ray14 数据集上超越标准迁移学习与二元交叉熵的深度学习性能。
• 开发一种显式建模标签相关性的损失函数，并抑制负类过拟合。
• 证明在结合 MSML 和双线性池化时，较小的模型架构（如 ResNet-18）可超越较大的模型（如 DenseNet-121）。
• 提供一种适用于具有相似数据特征的更广泛医学影像任务的新学习机制。

提出的方法

• 提出多标签 Softmax 损失（MSML），一种新颖的误差函数，通过在正标签相对于所有负标签上计算 Softmax 来建模标签依赖关系。
• MSML 定义为 $ E^{MSML} = \frac{1}{|Y_i|} \sum_{l \in Y_i} \frac{\exp(x_l^i)}{\exp(x_l^i) + \sum_{k \in \bar{Y}_i} \exp(x_k^i)} $，其中 $ Y_i $ 是样本 $ i $ 的正标签集合。
• 整合来自细粒度分类的双线性池化，以增强对视觉上相似病理的判别性特征学习。
• 采用双流网络架构，使用共享的特征提取器和双线性融合，以建模类别间关系。
• 采用全局训练策略，联合优化所有组件（特征提取器、MSML 头）。
• 将 MSML 与最终层的 Sigmoid 激活函数结合，以实现具有校准输出的多标签预测。

实验结果

研究问题

• RQ1 一种显式建模标签相关性的新型损失函数，是否能超越标准二元交叉熵，在多标签胸部 X 光片分类中取得更好效果？
• RQ2 整合细粒度特征学习技术是否能提升对视觉上相似肺部病理的性能？
• RQ3 当使用所提出的 MSML 和双线性池化时，轻量级模型（如 ResNet-18）是否能超越大型模型（如 DenseNet-121）？
• RQ4 与局部或固定微调策略相比，全局训练策略在医学影像多损失学习中表现如何？
• RQ5 MSML 在多大程度上缓解了医学图像数据集中类别不平衡和负标签过拟合问题？

主要发现

• 使用 DenseNet-121 主干网络，该方法在 ChestX-ray14 数据集上实现了 0.8537 的 AUC-ROC 得分，超越了此前最先进的 0.8413。
• 即使采用更小的 ResNet-18 主干网络，该方法仍实现了 0.8438 的 AUC，优于更大的 DenseNet-121 基线模型。
• 全局训练策略表现最佳（AUC 0.8388），优于局部和固定微调策略。
• MSML 显著提升了 W-AUC 和 D-AUC 得分，表明在少数类和困难类上表现更优。
• 双线性池化与 MSML 的结合使 AUC 相较于使用 ResNet-18 的标准迁移学习提升了 1.5%。
• 由于 MSML 中根植于 Softmax 的机制，该方法有效抑制了对负类的过拟合，该机制通过相对于缺失标签对输出进行归一化。