[论文解读] DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification

Wentao Zhu, Chaochun Liu+2 more|arXiv (Cornell University)|Jan 25, 2018

Lung Cancer Diagnosis and Treatment参考文献 30被引用 64

一句话总结

DeepLung 是一个全自动肺部 CT 癌症诊断系统，使用 3D Faster R-CNN 通过 3D 双路径网络检测结节，并基于深度特征、结节大小和原始像素对其进行 GBM 分类。

ABSTRACT

In this work, we present a fully automated lung computed tomography (CT) cancer diagnosis system, DeepLung. DeepLung consists of two components, nodule detection (identifying the locations of candidate nodules) and classification (classifying candidate nodules into benign or malignant). Considering the 3D nature of lung CT data and the compactness of dual path networks (DPN), two deep 3D DPN are designed for nodule detection and classification respectively. Specifically, a 3D Faster Regions with Convolutional Neural Net (R-CNN) is designed for nodule detection with 3D dual path blocks and a U-net-like encoder-decoder structure to effectively learn nodule features. For nodule classification, gradient boosting machine (GBM) with 3D dual path network features is proposed. The nodule classification subnetwork was validated on a public dataset from LIDC-IDRI, on which it achieved better performance than state-of-the-art approaches and surpassed the performance of experienced doctors based on image modality. Within the DeepLung system, candidate nodules are detected first by the nodule detection subnetwork, and nodule diagnosis is conducted by the classification subnetwork. Extensive experimental results demonstrate that DeepLung has performance comparable to experienced doctors both for the nodule-level and patient-level diagnosis on the LIDC-IDRI dataset.\footnote{https://github.com/uci-cbcl/DeepLung.git}

研究动机与目标

• 推动实现端到端的自动化肺部 CT 癌症诊断，以减少对临床医生手动分析的依赖。
• 开发紧凑高效的 3D 深度学习架构，针对 CT 数据的 3D 特性进行检测和分类。
• 将结节检测与分类整合到一个连贯的系统中，通过结节融合实现患者水平的诊断。
• 利用 3D 双路径网络在提高性能的同时降低相对于 3D ResNets 的参数数量。

提出的方法

• 设计一个带有 3D 双路径块的 3D Faster R-CNN，以及一个类 U-Net 的编码-解码器，用于在 CT 体积上检测结节。
• 使用深度 3D 双路径网络从裁剪后的结节中提取特征用于分类。
• 训练一个梯度提升机（GBM），将深度特征、结节大小和结节原始像素结合用于良恶性分类。
• 将检测到的结节裁剪为 32x32x32 来进行特征提取，并将 16x16x16 的像素裁剪作为 GBM 的额外输入。
• 在 LUNA16 上用 FROC 评估检测，在 LIDC-IDRI 上用准确率评估分类，并与最先进方法及经验丰富的医生进行比较。

实验结果

研究问题

• RQ1 一个完全集成的 3D DeepLung 管道是否能在公共 CT 数据集上达到可与经验丰富的放射科医师相当或超越结节层面的准确性？
• RQ2 相比传统的 3D CNN，3D 双路径网络在肺部结节的检测与分类是否具有优势？
• RQ3 通过 GBM 将深度特征、结节大小和原始像素数据结合，是否能获得更优的结节分类表现？
• RQ4 将结节层面的分类进行融合是否能产生具有竞争力的患者层级（CT）癌症诊断？

主要发现

• 基于 3D DPN 的检测器在 FROC 上优于基于 3D ResNet 的检测器，且参数显著更少（84.2% vs 83.4%，使用 1/4 的参数）。
• 将深度 3D DPN 特征、GBM 与大小/像素输入组合，在 LIDC-IDRI 上达到 90.44% 的准确率（组合所有特征时）。
• 对可信结节的结节层面预测，DeepLung 的表现超过平均专家医生水平（平均 92.74% 对比医生的 91.25%）。
• 在完全自动化的患者层级诊断中，DeepLung 的准确率为 81.41%，接近平均医生水平（82.31%），并且优于单独的一位医生。
• GBM 显著降低假阳性（在检测到的假阳性结节上减少 97.02%），同时保持良好的真阳性表现。
• DeepLung 在患者层级诊断的一致性系数 Kappa 为 63.02%，可与医生平均 64.46% 相提并论。