[论文解读] COVID-MobileXpert: On-Device COVID-19 Patient Triage and Follow-up using Chest X-rays

Xin Li, Chengyin Li+1 more|arXiv (Cornell University)|Apr 6, 2020

COVID-19 diagnosis using AI参考文献 63被引用 25

一句话总结

COVID-MobileXpert 提出了一种轻量级、设备端的深度学习系统，用于使用胸部X光片实现实时的COVID-19分诊和放射学轨迹预测。该系统采用一种新颖的三玩家知识迁移与蒸馏框架——利用预训练的主治医师网络、微调的住院医师网络以及轻量级的医学生网络——实现准确、保护隐私且高效的设备端分类与随访，实现在移动设备上对放射学恶化预测的AUROC达0.883。

ABSTRACT

During the COVID-19 pandemic, there has been an emerging need for rapid, dedicated, and point-of-care COVID-19 patient disposition techniques to optimize resource utilization and clinical workflow. In view of this need, we present COVID-MobileXpert: a lightweight deep neural network (DNN) based mobile app that can use chest X-ray (CXR) for COVID-19 case screening and radiological trajectory prediction. We design and implement a novel three-player knowledge transfer and distillation (KTD) framework including a pre-trained attending physician (AP) network that extracts CXR imaging features from a large scale of lung disease CXR images, a fine-tuned resident fellow (RF) network that learns the essential CXR imaging features to discriminate COVID-19 from pneumonia and/or normal cases with a small amount of COVID-19 cases, and a trained lightweight medical student (MS) network to perform on-device COVID-19 patient triage and follow-up. To tackle the challenge of vastly similar and dominant fore- and background in medical images, we employ novel loss functions and training schemes for the MS network to learn the robust features. We demonstrate the significant potential of COVID-MobileXpert for rapid deployment via extensive experiments with diverse MS architecture and tuning parameter settings. The source codes for cloud and mobile based models are available from the following url: https://github.com/xinli0928/COVID-Xray.

研究动机与目标

• 解决在疫情期间快速、即时护理点的COVID-19患者分诊与随访的迫切需求，以优化医疗资源使用。
• 克服现有设备端医疗AI系统的局限性，这些系统通常仅限于基本的图像浏览，缺乏诊断能力。
• 开发一种轻量级、保护隐私且准确的深度学习模型，可部署于移动设备，用于设备端从CX-R图像中分类COVID-19。
• 利用连续的CX-R图像实现纵向放射学轨迹预测，以检测住院患者的疾病恶化情况。
• 设计一种知识蒸馏框架，即使在标注的COVID-19数据有限的情况下，也能有效将大型预训练模型的知识迁移至紧凑的设备端网络。

提出的方法

• 提出一种三玩家知识迁移与蒸馏（KTD）框架：一个在大规模肺部疾病CX-R数据集上预训练的主治医师（AP）网络，一个在少量标注的COVID-19、肺炎和正常CX-R图像上微调的住院医师（RF）网络，以及一个通过知识蒸馏训练的轻量级医学生（MS）网络。
• 通过AP到RF网络的知识迁移，增强特征表达能力，并在有限的COVID-19数据上提升泛化性能。
• 对MS网络应用新颖的损失函数和训练方案，以提升其对医学图像中相似前景与背景模式的鲁棒性。
• 使用PyTorch Mobile框架将训练好的MS网络部署于移动设备，实现在低延迟和高隐私保障下的设备端推理。
• 通过AUROC和准确率指标在分类与轨迹预测任务上评估模型性能，并对比多种MS架构（如MobileNetV2、SqueezeNet）。
• 在六台Android设备上系统性分析资源消耗情况，评估CPU、内存和能耗，以提供设备特定的部署建议。

实验结果

研究问题

• RQ1 轻量级设备端深度学习模型是否能在保护患者隐私的前提下，实现对胸部X光片中COVID-19的高精度分类？
• RQ2 三玩家知识蒸馏框架在有限标注数据下，是否能有效将大型预训练模型的知识迁移至紧凑的设备端网络？
• RQ3 与单张图像特征相比，纵向CX-R特征在多大程度上能提升放射学轨迹预测的性能？
• RQ4 在不同移动硬件平台上，模型精度与资源消耗（CPU、内存、能耗）之间的权衡如何？
• RQ5 新颖的损失函数在医学影像中如何增强知识蒸馏的鲁棒性，特别是针对COVID-19与肺炎之间细微差异的区分能力？

主要发现

• 所提出的三玩家KTD框架通过利用大型预训练网络的知识迁移，显著提升了轻量级设备端模型的性能，即使在标注的COVID-19数据有限的情况下亦然。
• 基于MobileNetV2的MS网络在预测放射学恶化方面实现了0.883的AUROC，证明了其在利用连续CX-R图像进行设备端随访方面的强大潜力。
• 基于SqueezeNet的MS网络资源消耗更低，更适合低配移动设备，尽管其精度略低于MobileNetV2。
• 各设备上的资源消耗随硬件升级呈下降趋势，表明新型移动设备可高效运行高精度模型。
• 新颖损失函数增强了知识蒸馏的鲁棒性，使MS网络能更好地学习具有区分性的特征，即使在CX-R图像中前景与背景模式相似的情况下亦然。
• 该模型在平衡数据集上优于基线随机分类器（AUROC 0.600），表明从纵向CX-R图像中提取的特征组合可显著提升轨迹预测性能，优于单张图像方法。