[论文解读] FLANNEL: Focal Loss Based Neural Network Ensemble for COVID-19 Detection

Zhi Qiao, Austin Bae+3 more|arXiv (Cornell University)|Oct 30, 2020

COVID-19 diagnosis using AI参考文献 25被引用 5

一句话总结

FLANNEL 提出了一种基于焦点损失的神经网络集成方法，以提升胸部X光片中的新冠肺炎检测效果，通过结合多个CNN模型与焦点损失函数来解决类别不平衡问题。其宏平均F1得分为0.8168，在新冠肺炎识别任务中相较于最佳基线模型实现了6%的相对提升，同时达到0.7833的精确率和0.8609的召回率。

ABSTRACT

To test the possibility of differentiating chest x-ray images of COVID-19 against other pneumonia and healthy patients using deep neural networks. We construct the X-ray imaging data from two publicly available sources, which include 5508 chest x-ray images across 2874 patients with four classes: normal, bacterial pneumonia, non-COVID-19 viral pneumonia, and COVID-19. To identify COVID-19, we propose a Focal Loss Based Neural Ensemble Network (FLANNEL), a flexible module to ensemble several convolutional neural network (CNN) models and fuse with a focal loss for accurate COVID-19 detection on class imbalance data. FLANNEL consistently outperforms baseline models on COVID-19 identification task in all metrics. Compared with the best baseline, FLANNEL shows a higher macro-F1 score with 6% relative increase on Covid-19 identification task where it achieves 0.7833(0.07) in Precision, 0.8609(0.03) in Recall, and 0.8168(0.03) F1 score.

研究动机与目标

• 解决使用胸部X光片进行新冠肺炎检测时面临的类别不平衡问题。
• 提升在正常、细菌性肺炎及非新冠肺炎病毒性肺炎患者中识别新冠肺炎病例的准确性。
• 开发一种灵活的深度学习框架，整合多个CNN模型以增强泛化能力。
• 评估焦点损失在提升少数类样本（新冠肺炎）检测性能方面的有效性。
• 为临床决策支持提供一种稳健的基于集成的方法，用于早期新冠肺炎影像学诊断。

提出的方法

• 该方法从两个公开数据源构建了包含5,508张胸部X光片的数据集，涵盖四种类别：正常、细菌性肺炎、非新冠肺炎病毒性肺炎和新冠肺炎。
• 采用神经网络集成框架，整合多个卷积神经网络（CNN）模型的预测结果，以提升模型的鲁棒性与泛化能力。
• 在训练过程中应用焦点损失函数，以缓解类别不平衡问题，使模型更关注难以分类的样本，尤其是少数类的新冠肺炎样本。
• 通过加权平均策略，动态融合各独立CNN模型的特征与预测结果，以增强整体性能。
• 整个架构采用端到端训练，使用经焦点损失调整的交叉熵损失，以降低简单负样本的影响，提升对罕见正样本的学习效果。
• 最终模型通过标准指标（包括精确率、召回率和F1得分）进行评估，宏平均F1作为主要性能指标。

实验结果

研究问题

• RQ1 在存在类别不平衡的情况下，结合焦点损失的深度学习集成方法是否能有效提升胸部X光片中新冠肺炎的检测效果？
• RQ2 所提出的FLANNEL框架相较于单个CNN模型及标准损失函数，在识别新冠肺炎病例方面表现如何？
• RQ3 与标准交叉熵损失相比，焦点损失在提升少数类新冠肺炎类别的F1得分方面有多大改善？
• RQ4 模型集成是否能提升在不同类型肺炎及健康对照组中的检测性能与鲁棒性？
• RQ5 FLANNEL框架在具有类别不平衡分布的真实临床影像数据中是否具备良好的泛化能力？

主要发现

• FLANNEL在新冠肺炎识别任务中实现了0.8168的宏平均F1得分，相较于最佳基线模型有6%的相对提升。
• 该模型在新冠肺炎类别上获得了0.7833的精确率与0.8609的召回率，表明精确率与敏感性之间保持了良好平衡。
• 焦点损失组件显著提升了少数类新冠肺炎类别上的性能，通过减少训练过程中简单负样本的主导影响。
• 集成架构在所有评估指标上均优于所有基线模型，展现出更强的鲁棒性与泛化能力。
• 该方法在所有四种类别上均表现稳定，尤其在召回率方面提升显著，表明能更有效地检测出真正的新冠肺炎阳性病例。
• 结果表明，将焦点损失与模型集成相结合，是处理医学影像中长尾类别分布问题的有效策略。