[论文解读] COVID-19 Prognosis via Self-Supervised Representation Learning and Multi-Image Prediction

Anuroop Sriram, Matthew J. Muckley+8 more|PubMed|Jan 13, 2021

COVID-19 diagnosis using AI被引用 31

一句话总结

本论文在公开数据集上通过 MoCo 自监督学习进行胸部X线表示预训练，并对 COVID-19 恶化预测进行微调，包括单图像和多图像（基于 Transformer）方法，达到比监督基线更高的 AUC，并与放射科医生进行比较。

ABSTRACT

The rapid spread of COVID-19 cases in recent months has strained hospital resources, making rapid and accurate triage of patients presenting to emergency departments a necessity. Machine learning techniques using clinical data such as chest X-rays have been used to predict which patients are most at risk of deterioration. We consider the task of predicting two types of patient deterioration based on chest X-rays: adverse event deterioration (i.e., transfer to the intensive care unit, intubation, or mortality) and increased oxygen requirements beyond 6 L per day. Due to the relative scarcity of COVID-19 patient data, existing solutions leverage supervised pretraining on related non-COVID images, but this is limited by the differences between the pretraining data and the target COVID-19 patient data. In this paper, we use self-supervised learning based on the momentum contrast (MoCo) method in the pretraining phase to learn more general image representations to use for downstream tasks. We present three results. The first is deterioration prediction from a single image, where our model achieves an area under receiver operating characteristic curve (AUC) of 0.742 for predicting an adverse event within 96 hours (compared to 0.703 with supervised pretraining) and an AUC of 0.765 for predicting oxygen requirements greater than 6 L a day at 24 hours (compared to 0.749 with supervised pretraining). We then propose a new transformer-based architecture that can process sequences of multiple images for prediction and show that this model can achieve an improved AUC of 0.786 for predicting an adverse event at 96 hours and an AUC of 0.848 for predicting mortalities at 96 hours. A small pilot clinical study suggested that the prediction accuracy of our model is comparable to that of experienced radiologists analyzing the same information.

研究动机与目标

• 在资源有限的病房环境中，快速、准确地对 COVID-19 患者进行分诊，使用胸部 X 线数据。
• 研究自监督预训练，以在对 COVID-19 恶化任务进行微调前学习可泛化的图像表征。
• 评估单图像与序列型（多图像）预测架构以预测不良事件与需氧量。
• 在初步读者研究中，将模型的表现与放射科医生的预测进行对比。

提出的方法

• 用 Momentum Contrast (MoCo) 在大规模公开胸部 X 线数据集（MIMIC-CXR-JPG 和 CheXpert）上对 DenseNet-121 编码器进行预训练，而不使用 COVID 标签。
• 对预训练编码器进行下游任务微调：单图像预测（SIP）任何不良事件在 24–96 小时内；氧气需求预测（ORP）>6 L/天在 24–96 小时内。
• 开发一个基于 Transformer 的架构（MIP），它接收带有相对时间的胸部 X 线序列，使用连续位置信嵌入（CPE）和一个时间感知的 Transformer 来预测不良事件。
• 引入 DropImage 正则化，通过在序列中随机丢弃一些过去的图像来提高鲁棒性。
• 比较自监督预训练与监督预训练并进行基于自助抽样的统计显著性检验。

实验结果

研究问题

• RQ1 在非 COVID 的胸部 X 线数据上进行自监督预训练，是否能够产生提升 COVID-19 恶化预测的表征相比监督预训练？
• RQ2 通过 Transformer 引入胸部 X 线的时间序列是否能比单图像模型提高对不良事件和死亡的预测？
• RQ3 MoCo 方法与 COVID-GMIC 模型及放射科医生在读者研究中的比较结果如何？
• RQ4 在不同预测时程中，SIP 相对于 ORP 任务有何相对优势？
• RQ5 当目标任务涉及 COVID-19 患者时，是否将公开预训练数据（MIMIC-CXR、CheXpert）进行预训练有益？

主要发现

• 自监督 MoCo 预训练在所有时程的 SIP 上的 AUC 均高于监督预训练（在 72 小时和 96 小时达到显著差异）。
• 对于 SIP，MoCo 预训练并进行全部微调在 48、72、96 小时达到最佳 AUC，在若干消融中显示最佳，而 MoCo 仅对分类器进行微调在 24 小时表现最佳。
• 使用 X-ray 序列的 MIP Transformer 模型在所有时间窗口的预测不良事件 AUC 相对于单图像 MoCo 基线有所提升，在 24、48、72 小时具有显著增益。
• 与在初步读者研究中的放射科医生相比，MIP Transformer 对预测任何不良事件的性能相当或略高，放射科医生在某些任务上表现出更大变异性。
• 在公开数据上使用 MoCo 的 SIP AUC 分别为 0.686、0.719、0.726、0.742，分别对应 24、48、72、96 小时（最佳 MoCo），而 COVID-GMIC 在同一时程为 0.695、0.716、0.717、0.738。
• ORP 结果表明监督预训练可与 MoCo 竞争，在某些消融中 MoCo 在 24 小时有所提升；总体时间动态在 SIP 与 ORP 任务中不同。
• 带 DropImage 正则化的 Transformer 基于 MIP 模型在预测 ICU 转入、死亡和总体不良事件方面，相对于单图像 MoCo 基线具有统计显著的提升。