[论文解读] A new semi-supervised self-training method for lung cancer prediction

Kelvin Shak, Mundher Al-Shabi+5 more|arXiv (Cornell University)|Dec 17, 2020

Lung Cancer Diagnosis and Treatment参考文献 35被引用 4

一句话总结

该论文提出了一种新颖的半监督自训练框架，结合噪声学生蒸馏与Mixup正则化，以提升从CT扫描中预测肺癌的性能。在NLST数据集上使用3D Maxout局部-全局网络，其在2,005张独立测试扫描上实现了0.87的AUC，显著优于先前方法（p = 0.0001）。

ABSTRACT

Background and Objective: Early detection of lung cancer is crucial as it has high mortality rate with patients commonly present with the disease at stage 3 and above. There are only relatively few methods that simultaneously detect and classify nodules from computed tomography (CT) scans. Furthermore, very few studies have used semi-supervised learning for lung cancer prediction. This study presents a complete end-to-end scheme to detect and classify lung nodules using the state-of-the-art Self-training with Noisy Student method on a comprehensive CT lung screening dataset of around 4,000 CT scans. Methods: We used three datasets, namely LUNA16, LIDC and NLST, for this study. We first utilise a three-dimensional deep convolutional neural network model to detect lung nodules in the detection stage. The classification model known as Maxout Local-Global Network uses non-local networks to detect global features including shape features, residual blocks to detect local features including nodule texture, and a Maxout layer to detect nodule variations. We trained the first Self-training with Noisy Student model to predict lung cancer on the unlabelled NLST datasets. Then, we performed Mixup regularization to enhance our scheme and provide robustness to erroneous labels. Results and Conclusions: Our new Mixup Maxout Local-Global network achieves an AUC of 0.87 on 2,005 completely independent testing scans from the NLST dataset. Our new scheme significantly outperformed the next highest performing method at the 5% significance level using DeLong's test (p = 0.0001). This study presents a new complete end-to-end scheme to predict lung cancer using Self-training with Noisy Student combined with Mixup regularization. On a completely independent dataset of 2,005 scans, we achieved state-of-the-art performance even with more images as compared to other methods.

研究动机与目标

• 解决用于训练鲁棒深度学习模型的标注肺部CT扫描数据有限的挑战。
• 通过同时实现结节检测与分类，提升早期肺癌检测能力。
• 利用半监督学习技术，充分利用大规模未标注CT扫描数据，如NLST数据集中的数据。
• 通过Mixup等正则化技术提升模型对标签噪声的泛化能力与鲁棒性。
• 开发一个端到端框架，集成检测、分类与自训练，以支持临床部署。

提出的方法

• 采用3D深度卷积神经网络，在LUNA16、LIDC和NLST数据集上检测肺部结节。
• 设计一种Maxout局部-全局网络，结合非局部层以提取全局形状特征，以及残差块以捕捉局部纹理特征。
• 应用带有噪声学生的自训练方法，利用未标注的NLST数据，其中教师模型生成伪标签以训练学生模型。
• 在训练过程中引入Mixup正则化，以提升对噪声或错误伪标签的鲁棒性。
• 端到端训练学生模型，同时使用真实标注数据与伪标签的未标注数据，以提升泛化能力。
• 使用Maxout层捕捉结节的变异模式，增强癌症分类的判别能力。

实验结果

研究问题

• RQ1 当仅有有限的标注CT扫描数据时，半监督自训练方法是否能显著提升肺癌预测性能？
• RQ2 在未标注CT数据的自训练过程中，Mixup正则化的整合在减轻噪声伪标签影响方面效果如何？
• RQ3 Maxout局部-全局网络架构是否在结合局部纹理与全局形状特征的基础上，优于标准模型的肺结节检测与分类性能？
• RQ4 所提出方法在完全独立的2,005张扫描测试集上的泛化能力如何？
• RQ5 在AUC与鲁棒性方面，该方法是否在统计上显著优于现有最先进方法？

主要发现

• 所提出的Mixup Maxout局部-全局网络在NLST数据集的2,005张完全独立的测试扫描上实现了0.87的AUC。
• 该方法在5%显著性水平下显著优于次高表现的模型，DeLong检验的p值为0.0001。
• Mixup正则化的整合提升了模型对自训练过程中生成的错误伪标签的鲁棒性。
• 采用噪声学生进行的自训练有效利用了未标注的NLST数据，提升了模型性能，且无需额外标注。
• 该模型在独立测试集上表现出强大的泛化能力，证实了其在早期肺癌检测中的临床潜力。
• Maxout局部-全局网络有效捕捉了结节的局部纹理与全局形状特征，有助于提升分类准确率。