[论文解读] Embedding Task Knowledge into 3D Neural Networks via Self-supervised Learning

Jiuwen Zhu, Yuexiang Li+2 more|arXiv (Cornell University)|Jun 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 13被引用 4

一句话总结

本文提出任务相关对比预测编码（TCPC），一种自监督学习方法，通过将病灶相关先验知识嵌入3D卷积神经网络（CNN），提升3D医学图像分类性能。利用SLIC算法进行超像素聚类以定位候选病灶，TCPC在这些区域周围的子体积上应用校准的'U'形对比预测编码方案，在脑出血和肺癌数据集上实现了最先进性能，且仅需极少标注数据。

ABSTRACT

Deep learning highly relies on the amount of annotated data. However, annotating medical images is extremely laborious and expensive. To this end, self-supervised learning (SSL), as a potential solution for deficient annotated data, attracts increasing attentions from the community. However, SSL approaches often design a proxy task that is not necessarily related to target task. In this paper, we propose a novel SSL approach for 3D medical image classification, namely Task-related Contrastive Prediction Coding (TCPC), which embeds task knowledge into training 3D neural networks. The proposed TCPC first locates the initial candidate lesions via supervoxel estimation using simple linear iterative clustering. Then, we extract features from the sub-volume cropped around potential lesion areas, and construct a calibrated contrastive predictive coding scheme for self-supervised learning. Extensive experiments are conducted on public and private datasets. The experimental results demonstrate the effectiveness of embedding lesion-related prior-knowledge into neural networks for 3D medical image classification.

研究动机与目标

• 解决深度学习中3D医学图像标注数据有限的挑战。
• 通过在自监督预训练中融入与任务相关的先验知识，提升3D医学图像分类性能。
• 设计一种比通用图像增强任务更贴近临床诊断的代理任务，用于自监督学习。
• 证明病灶感知的自监督预训练可显著提升下游分类性能，尤其在小样本标注数据条件下。

提出的方法

• 使用简单线性迭代聚类（SLIC）生成超像素，并在3D医学影像中识别潜在病灶区域。
• 以超像素区域为中心裁剪子体积，聚焦于具有诊断意义的区域。
• 提出一种校准的'U'形路径用于对比预测编码中的支持特征生成，提升上下文特征学习能力。
• 在子体积上应用对比预测编码（CPC），利用空间结构化支持集的特征来预测目标立方体的特征。
• 采用3D CNN主干网络进行特征提取，并利用TCPC代理任务在无标注数据上进行预训练。
• 结合UCF101的迁移学习与TCPC预训练，进一步提升医学数据集上的性能。

实验结果

研究问题

• RQ1 融合病灶相关先验知识的自监督学习方法是否能提升3D医学图像分类性能？
• RQ2 基于病灶定位的任务特定代理任务与通用代理任务相比，在自监督3D学习中表现如何？
• RQ3 当仅有少量标注数据时，TCPC能多大程度上提升性能？
• RQ4 结合自然图像的迁移学习与任务感知的自监督预训练，是否能进一步提升分类准确率？

主要发现

• 在脑出血数据集上，TCPC实现了78.38%的平均准确率和0.921的AUC，优于所有基线方法，包括3D CPC和魔方方法。
• 在肺癌数据集上，TCPC使用3D VGG模型达到95.86%准确率，使用3D ResNet-18模型达到98.88%，优于3D拼图和魔方方法。
• UCF101 + TCPC级联方法使准确率平均提升1%，在肺结节数据上，3D VGG和ResNet-18模型的准确率分别达到97.85%和99.40%。
• TCPC对超参数具有鲁棒性，随着立方体尺寸增大，性能持续提升，归因于更丰富的上下文信息。
• 在极小标注数据条件下，TCPC始终优于从零开始训练的模型，尤其在低数据场景下表现更优。