[论文解读] LMFLOSS: A Hybrid Loss For Imbalanced Medical Image Classification

Abu Adnan Sadi, Labib Chowdhury+5 more|arXiv (Cornell University)|Dec 24, 2022

Artificial Intelligence in Healthcare被引用 12

一句话总结

本文提出 LMFLOSS，一种混合损失函数，结合类别分布感知与动态难样本聚焦，以提升类别不平衡的医学图像分类性能。通过整合大间隔约束与焦点损失原理，其在三个多样化的医学影像数据集上实现了 2%-10% 的相对宏 F1 提升，显著增强了少数类别的表现。

ABSTRACT

With advances in digital technology, the classification of medical images has become a crucial step for image-based clinical decision support systems. Automatic medical image classification represents a pivotal domain where the use of AI holds the potential to create a significant social impact. However, several challenges act as obstacles to the development of practical and effective solutions. One of these challenges is the prevalent class imbalance problem in most medical imaging datasets. As a result, existing AI techniques, particularly deep-learning-based methodologies, often underperform in such scenarios. In this study, we propose a novel framework called Large Margin aware Focal (LMF) loss to mitigate the class imbalance problem in medical imaging. The LMF loss represents a linear combination of two loss functions optimized by two hyperparameters. This framework harnesses the distinct characteristics of both loss functions by enforcing wider margins for minority classes while simultaneously emphasizing challenging samples found in the datasets. We perform rigorous experiments on three neural network architectures and with four medical imaging datasets. We provide empirical evidence that our proposed framework consistently outperforms other baseline methods, showing an improvement of 2%-9% in macro-f1 scores. Through class-wise analysis of f1 scores, we also demonstrate how the proposed framework can significantly improve performance for minority classes. The results of our experiments show that our proposed framework can perform consistently well across different architectures and datasets. Overall, our study demonstrates a simple and effective approach to addressing the class imbalance problem in medical imaging datasets. We hope our work will inspire new research toward a more generalized approach to medical image classification.

研究动机与目标

• 解决医学图像分类中的类别不平衡问题，其中少数疾病类别样本不足。
• 在不使用数据增强或重采样的前提下，提升模型在罕见疾病类别上的泛化能力与性能。
• 开发一种同时考虑类别分布与样本难度（难样本）的损失函数。
• 在基准医学影像数据集上超越现有损失函数（如焦点损失与 LDAM）的表现。
• 通过减少对常见疾病类别的偏见，使 AI 辅助诊断在临床环境中更具可靠性。

提出的方法

• 提出 LMFLOSS，一种结合焦点损失与标签分布感知边缘（LDAM）原理的混合损失。
• 引入与类别相关的边缘项 γj = C / nj^(1/4)，根据样本数量增加少数类的边缘。
• 应用动态加权机制，通过提升聚焦参数 γ，增强难样本的损失贡献。
• 使用带自适应加权的改进交叉熵损失：FL(p_t) = -(1 - p_t)^γ * log(p_t)，γ 调整为 1.5。
• 将类别不平衡校正与难样本聚焦整合为单一可微分损失函数，支持端到端训练。
• 使用标准反向传播训练模型，以 LMFLOSS 作为目标函数，并在三个真实世界医学影像数据集上进行评估。

实验结果

研究问题

• RQ1 能否设计一种联合建模类别分布与样本难度的混合损失函数，在类别不平衡的医学图像分类中超越现有损失函数？
• RQ2 LMFLOSS 在训练样本极少的少数类别上，能将宏 F1 分数提升多少？
• RQ3 在多样化医学影像领域中，LMFLOSS 与焦点损失及 LDAM 损失相比，在泛化性与鲁棒性方面表现如何？
• RQ4 该损失函数是否在显著提升少数类别检测性能的同时，仍保持对多数类别的强性能？
• RQ5 LMFLOSS 是否能在罕见疾病训练数据极少的情况下实现高性能分类？

主要发现

• 在 ODIR-5K 数据集上，使用 EfficientNetV2 和 ResNet50 时，LMFLOSS 相较于交叉熵及其他基线方法，宏 F1 提升超过 2.5%。
• 在 HAM-10K 数据集上，LMFLOSS 实现了 3% 的宏 F1 性能提升，其中最稀有类别（DF）的提升高达 9%（仅 81 个训练样本）。
• 在 ISIC-2019 数据集上，使用 ResNet50 时，LMFLOSS 相较于基线实现 10% 的宏 F1 提升；使用 EfficientNetV2 时提升 5%。
• 在 ODIR-5K 中最稀有类别（H 类，90 个样本）上，LMFLOSS 实现了 28.57% 的宏 F1，显著优于其他方法。
• Grad-CAM 可视化结果表明，LMFLOSS 训练的模型对病灶区域的关注更准确，表明其注意力机制与可解释性更强。
• 在所有指标——准确率、精确率、召回率与 F1——上，LMFLOSS 在三个数据集上均优于交叉熵、焦点损失与 LDAM。