[论文解读] Joint Learning for Pulmonary Nodule Segmentation, Attributes and Malignancy Prediction

Botong Wu, Zhen Zhou+2 more|ArXiv.org|Feb 10, 2018

Lung Cancer Diagnosis and Treatment参考文献 12被引用 11

一句话总结

该论文提出PN-SAMP，一种3D多任务深度学习框架，通过多窗宽/窗位CT输入联合执行肺结节分割、特征预测和恶性度分类。通过将分割、特征预测与恶性度预测整合到单一端到端模型中，该方法实现了最先进性能——恶性度预测准确率达97.58%，特征预测准确率达89.33%，分割Dice系数达73.89%，同时通过可解释性输出增强了放射科医生的可解释性。

ABSTRACT

Refer to the literature of lung nodule classification, many studies adopt Convolutional Neural Networks (CNN) to directly predict the malignancy of lung nodules with original thoracic Computed Tomography (CT) and nodule location. However, these studies cannot tell how the CNN works in terms of predicting the malignancy of the given nodule, e.g., it's hard to conclude that whether the region within the nodule or the contextual information matters according to the output of the CNN. In this paper, we propose an interpretable and multi-task learning CNN -- Joint learning for extbf{P}ulmonary extbf{N}odule extbf{S}egmentation extbf{A}ttributes and extbf{M}alignancy extbf{P}rediction (PN-SAMP). It is able to not only accurately predict the malignancy of lung nodules, but also provide semantic high-level attributes as well as the areas of detected nodules. Moreover, the combination of nodule segmentation, attributes and malignancy prediction is helpful to improve the performance of each single task. In addition, inspired by the fact that radiologists often change window widths and window centers to help to make decision on uncertain nodules, PN-SAMP mixes multiple WW/WC together to gain information for the raw CT input images. To verify the effectiveness of the proposed method, the evaluation is implemented on the public LIDC-IDRI dataset, which is one of the largest dataset for lung nodule malignancy prediction. Experiments indicate that the proposed PN-SAMP achieves significant improvement with respect to lung nodule classification, and promising performance on lung nodule segmentation and attribute learning, compared with the-state-of-the-art methods.

研究动机与目标

• 为解决现有深度学习模型在肺结节恶性度预测中缺乏可解释性的问题，这些模型通常产生无临床背景的黑箱决策。
• 通过利用共享表征的多任务学习，提升结节分类、分割与特征预测的性能。
• 通过向放射科医生提供语义特征（如边缘、钙化）和精确的结节分割掩码，同时输出恶性度评分，增强模型的可解释性。
• 通过引入多种窗宽/窗位（WW/WC）设置，模拟放射科医生的阅片实践，以丰富输入图像信息。
• 证明联合学习通过共享监督与特征学习，能够提升所有任务的性能。

提出的方法

• 模型采用双通道输入，将不同WW/WC设置下的结节patch沿通道维度堆叠，以增强特征表示。
• 设计了一个3D卷积神经网络，包含共享分支与任务特定分支，用于联合学习分割、特征分类与恶性度预测。
• 通过跳跃连接将分割分支与分类分支相连，使分类损失可反向传播以优化分割。
• 通过加权交叉熵损失的加权和，联合优化分割、特征与恶性度预测损失，实现多任务学习。
• 在LIDC-IDRI数据集上端到端训练，输入体积为64×64×64×2，经归一化处理为0.6 mm各向同性分辨率。
• 框架包含多尺度WW/WC策略，以模拟放射科医生的窗位技术，提升对细微结节特征的敏感性。

实验结果

研究问题

• RQ1 与单任务模型相比，联合学习分割、特征与恶性度预测是否能提升所有任务的性能？
• RQ2 引入多种窗宽/窗位设置是否能增强模型检测细微结节特征的能力并提高分类准确率？
• RQ3 多任务训练在多大程度上通过提供语义特征与分割掩码，提升可解释性？
• RQ4 在LIDC-IDRI数据集上，所提出的多任务架构在恶性度预测、分割与特征学习方面，与最先进方法相比表现如何？
• RQ5 将结节分割作为监督信号，是否能提升恶性度分类的性能？

主要发现

• 所提出的PN-SAMP在肺结节恶性度预测中达到97.58%的准确率，优于所有对比的最先进方法。
• 模型在预测九种高层级特征方面达到89.33%的准确率，展现出强大的特征学习能力。
• 分割任务的Dice系数达到73.89%，相比3D-UNet基线模型提升1.99%，且参数量仅150万（对比基线1600万）。
• 与单任务基线相比，多任务学习使分割性能提升3.69%，分类性能提升4.69%。
• 多WW/WC输入的组合带来了最佳整体性能，证实其在丰富结节外观特征方面的价值。
• 定性结果显示，模型对恶性度与特征的预测与真实标签一致，大多数预测值与真实评分相差±1以内。