[论文解读] Context Matters: Graph-based Self-supervised Representation Learning for Medical Images

Li Sun, Ke Yu+1 more|arXiv (Cornell University)|Dec 11, 2020

COVID-19 diagnosis using AI参考文献 11被引用 10

一句话总结

该论文提出了一种基于图的自监督表示学习方法，用于体素医学影像，通过分层框架结合解剖学上下文，利用补丁级和患者级表示。通过结合解剖学图谱和图卷积网络来建模区域间关系，该方法在零样本和少样本COVID-19分期任务中达到最先进性能，在外部COVID-19数据集上的微调任务中实现了96.3%的准确率，优于监督和自监督基线方法。

ABSTRACT

Supervised learning method requires a large volume of annotated datasets. Collecting such datasets is time-consuming and expensive. Until now, very few annotated COVID-19 imaging datasets are available. Although self-supervised learning enables us to bootstrap the training by exploiting unlabeled data, the generic self-supervised methods for natural images do not sufficiently incorporate the context. For medical images, a desirable method should be sensitive enough to detect deviation from normal-appearing tissue of each anatomical region; here, anatomy is the context. We introduce a novel approach with two levels of self-supervised representation learning objectives: one on the regional anatomical level and another on the patient-level. We use graph neural networks to incorporate the relationship between different anatomical regions. The structure of the graph is informed by anatomical correspondences between each patient and an anatomical atlas. In addition, the graph representation has the advantage of handling any arbitrarily sized image in full resolution. Experiments on large-scale Computer Tomography (CT) datasets of lung images show that our approach compares favorably to baseline methods that do not account for the context. We use the learnt embedding to quantify the clinical progression of COVID-19 and show that our method generalizes well to COVID-19 patients from different hospitals. Qualitative results suggest that our model can identify clinically relevant regions in the images.

研究动机与目标

• 通过在大量未标注数据上进行自监督预训练，解决缺乏大规模标注医学影像数据集的问题，特别是针对COVID-19等新发疾病。
• 通过引入解剖学上下文——特别是解剖区域之间的空间关系——超越局部纹理特征，改进医学图像中的表示学习。
• 开发一种能够处理任意大小3D医学图像的全分辨率方法，避免因重采样或裁剪导致的信息损失。
• 通过生成与临床相关区域对齐的任务特定激活热图，实现可解释的预测。
• 证明所学特征在下游任务（如不同医院间的COVID-19严重程度分类）中的泛化能力。

提出的方法

• 该方法将3D医学影像表示为基于图像到图谱配准获得的解剖学标志点为中心的图像补丁图。
• 条件编码器在补丁级别提取以图谱提供的解剖学位置为条件的局部纹理特征。
• 图卷积网络（GCN）聚合补丁间的特征，基于其空间和解剖学对应关系建模区域之间的关系。
• 该模型采用两阶段自监督目标：在补丁级别进行对比学习，以及在患者级别进行图级别对比学习，以捕捉全局上下文。
• 分层架构实现全分辨率处理，无需重采样或裁剪，从而保持空间保真度。
• 通过基于梯度的显著性方法实现模型可解释性，生成与临床相关区域（如磨玻璃影）对齐的激活热图。

实验结果

研究问题

• RQ1 通过图结构表示引入解剖学上下文，是否能改善体素医学影像中的自监督表示学习？
• RQ2 多尺度全分辨率学习框架是否优于需要图像重采样或裁剪的标准CNN方法？
• RQ3 在大规模未标注COPD或MosMed CT数据集上预训练的特征，是否能有效泛化到下游任务（如COVID-19严重程度分类）？
• RQ4 所学表示是否能突出显示COVID-19患者中如磨玻璃影等临床相关区域？
• RQ5 该模型在不同医院和成像协议下的性能是否具有鲁棒性？

主要发现

• 该方法在外部COVID-19 CT数据集上微调时，使用在MosMed数据集上预训练的特征，实现了96.3%的测试准确率，优于所有基线方法，包括监督3D CNN。
• 在COPDGene数据集上预训练的该方法特征也达到了90.0%的准确率，表明即使未接触过COVID-19病理，其特征仍具有强大的可迁移性。
• 患者级别特征的UMAP可视化显示与FEV1pp存在明显趋势相关，表明所学表示能反映疾病严重程度的进展。
• 为COVID-19分类生成的激活热图与CT扫描中外周磨玻璃影区域重叠，证实了模型精确定位临床相关区域的能力。
• 消融研究证实，局部解剖学上下文和关系图结构均对提升表示质量有显著贡献。
• 在所有评估指标上，该方法均优于MoCo、MedicalNet和ModelsGenesis，表明其具有更优的特征质量和泛化能力。