[论文解读] Accurate and Robust Pulmonary Nodule Detection by 3D Feature Pyramid Network with Self-supervised Feature Learning

Jingya Liu, Liangliang Cao+2 more|arXiv (Cornell University)|Jul 25, 2019

Lung Cancer Diagnosis and Treatment参考文献 28被引用 15

一句话总结

本文提出一种结合自监督预训练的3D特征金字塔网络（3DFPN）与高敏感性与特异性（HS²）网络，以实现CT扫描中肺结节的鲁棒检测。通过利用自监督学习提升模型在不同CT扫描仪间的泛化能力，并结合结节在连续断层图像中外观的时空分析以减少假阳性，该方法在LUNA16数据集上实现了每张扫描1/8个假阳性时90.6%的敏感度，较当前最先进方法提升了15.8%的敏感度增益。

ABSTRACT

Accurate detection of pulmonary nodules with high sensitivity and specificity is essential for automatic lung cancer diagnosis from CT scans. Although many deep learning-based algorithms make great progress for improving the accuracy of nodule detection, the high false positive rate is still a challenging problem which limits the automatic diagnosis in routine clinical practice. Moreover, the CT scans collected from multiple manufacturers may affect the robustness of Computer-aided diagnosis (CAD) due to the differences in intensity scales and machine noises. In this paper, we propose a novel self-supervised learning assisted pulmonary nodule detection framework based on a 3D Feature Pyramid Network (3DFPN) to improve the sensitivity of nodule detection by employing multi-scale features to increase the resolution of nodules, as well as a parallel top-down path to transit the high-level semantic features to complement low-level general features. Furthermore, a High Sensitivity and Specificity (HS2) network is introduced to eliminate the false positive nodule candidates by tracking the appearance changes in continuous CT slices of each nodule candidate on Location History Images (LHI). In addition, in order to improve the performance consistency of the proposed framework across data captured by different CT scanners without using additional annotations, an effective self-supervised learning schema is applied to learn spatiotemporal features of CT scans from large-scale unlabeled data. The performance and robustness of our method are evaluated on several publicly available datasets with significant performance improvements. The proposed framework is able to accurately detect pulmonary nodules with high sensitivity and specificity and achieves 90.6% sensitivity with 1/8 false positive per scan which outperforms the state-of-the-art results 15.8% on LUNA16 dataset.

研究动机与目标

• 解决基于深度学习的肺结节检测中假阳性率过高的问题，该问题限制了其临床应用。
• 提升模型在不同厂商CT扫描设备上的鲁棒性，以应对强度尺度、噪声及重建协议的差异。
• 在大体积CT扫描中实现对小结节（小至3 mm）的高敏感性与高特异性检测，同时保持极低的假阳性率。
• 通过在大规模未标注CT扫描上进行自监督预训练，减少对昂贵且需专家标注的数据的依赖。
• 开发一种可在无需微调或额外标注的情况下，有效泛化至多样化临床数据集的框架。

提出的方法

• 采用具有多尺度特征和自顶向下路径的3D特征金字塔网络（3DFPN），以增强检测分辨率并丰富各尺度的特征表示。
• 引入一种自监督掩码任务，通过在3D CT体数据上预测旋转角度（0°, 90°, 180°, 270°）来预训练来自NLST数据集的未标注数据上的ResNet-18主干网络。
• 将预训练的3DFPN模型作为主干网络，用于肺结节检测的微调，从而提升在不同扫描仪类型下的特征泛化能力。
• 设计HS²网络，分析结节候选在连续CT断层图像中的位置历史图像（LHIs），以区分真实结节（稳定、一致运动）与假阳性（不稳定、异常运动）。
• 利用连续断层图像中出现变化的时空模式，通过检测运动不一致性和形状变化来抑制假阳性。
• 在标注数据集（如LUNA16）上微调3DFPN-HS²框架，同时利用自监督预训练的特征，以保持在不同数据集上的性能表现。

实验结果

研究问题

• RQ1 在未标注的大规模CT扫描上进行自监督预训练，是否能提升3D结节检测模型在不同CT扫描仪厂商之间的鲁棒性，且无需额外标注？
• RQ2 HS²网络通过建模结节候选在连续CT断层图像中的时空一致性，能否有效降低假阳性率？
• RQ3 3DFPN与HS²的结合在基准数据集上相比当前最先进方法，能在多大程度上提升敏感度与特异性？
• RQ4 自监督预训练方案是否显著提升了在外部数据集（SPIE-AAPM、LungTIME、HMS）上的性能表现，其中训练数据分布与LUNA16存在差异？
• RQ5 所提出的框架是否能在大幅降低假阳性率的同时，对小结节（3–10 mm）保持高敏感度，适用于大体积CT扫描？

主要发现

• 3DFPN-HS²框架在LUNA16数据集上实现了每张扫描1/8个假阳性时90.6%的敏感度，较之前最先进方法提升了15.8%的敏感度增益。
• 在SPIE-AAPM数据集上，与无预训练训练相比，自监督预训练模型在每张扫描1/8个假阳性时敏感度提升了7.4%。
• 在LungTIME数据集上，使用预训练模型后，每张扫描1/8个假阳性时的敏感度提升了13.5%，显示出强大的跨数据集泛化能力。
• 在HMS肺癌数据集上，预训练使敏感度在每张扫描1/8个假阳性时提升了8.9%，证实了其在多样化临床数据上的鲁棒性。
• HS²网络将88张CT扫描中的假阳性数从629例减少至97例（降低84.5%），显著提升了特异性，且未损害敏感度。
• 3DFPN-HS²模型在LUNA16上的CPM分数达到0.957，优于以往最先进方法，并在每张扫描8个假阳性时仍保持高性能。