[论文解读] An Interpretable Deep Hierarchical Semantic Convolutional Neural Network for Lung Nodule Malignancy Classification

Shiwen Shen, Simon Han+3 more|arXiv (Cornell University)|Jun 2, 2018

Lung Cancer Diagnosis and Treatment参考文献 21被引用 9

一句话总结

本文提出了一种新颖的可解释深度分层语义卷积神经网络（HSCNN），用于基于CT扫描的肺结节恶性程度分类。通过使用统一损失函数联合预测五种放射科医生定义的语义特征（例如，边缘、纹理、球形度）和恶性程度状态，该模型增强了可解释性，并在LIDC数据集上实现了优于标准3D CNN的性能。

ABSTRACT

While deep learning methods are increasingly being applied to tasks such as computer-aided diagnosis, these models are difficult to interpret, do not incorporate prior domain knowledge, and are often considered as a "black-box." The lack of model interpretability hinders them from being fully understood by target users such as radiologists. In this paper, we present a novel interpretable deep hierarchical semantic convolutional neural network (HSCNN) to predict whether a given pulmonary nodule observed on a computed tomography (CT) scan is malignant. Our network provides two levels of output: 1) low-level radiologist semantic features, and 2) a high-level malignancy prediction score. The low-level semantic outputs quantify the diagnostic features used by radiologists and serve to explain how the model interprets the images in an expert-driven manner. The information from these low-level tasks, along with the representations learned by the convolutional layers, are then combined and used to infer the high-level task of predicting nodule malignancy. This unified architecture is trained by optimizing a global loss function including both low- and high-level tasks, thereby learning all the parameters within a joint framework. Our experimental results using the Lung Image Database Consortium (LIDC) show that the proposed method not only produces interpretable lung cancer predictions but also achieves significantly better results compared to common 3D CNN approaches.

研究动机与目标

• 解决用于肺结节诊断的深度学习模型缺乏可解释性的问题。
• 通过语义特征预测，将放射科医生的专家知识融入深度学习框架。
• 通过联合学习低层级语义特征与高层级恶性程度预测，提升恶性程度分类性能。
• 通过端到端、数据驱动的方法，减少对手工设计特征和分割掩码的依赖。
• 构建一种能够使用临床相关诊断特征解释其预测结果的模型。

提出的方法

• HSCNN架构包括共享卷积层，随后是针对五种语义特征（钙化、边缘、微妙性、纹理和球形度）的任务特定分支。
• 跳跃连接被用于将低层级语义预测结果整合到高层级恶性程度分类路径中。
• 全局损失函数将语义特征预测任务与恶性程度分类任务的损失相结合，以实现端到端训练。
• 对语义特征应用二值化标签（例如，毛刺状 vs. 非毛刺状），以减少读者间差异性和数据稀疏性。
• 模型在LIDC/IDRI数据集上使用3D CT影像进行训练，联合优化使不同任务之间实现特征共享。
• 最终的恶性程度预测由共享主干网络和中间语义输出所学习的表征共同决定。

实验结果

研究问题

• RQ1 深度学习模型能否在保持对放射科医生可解释性的同时，同时预测临床相关的语义特征和恶性程度状态？
• RQ2 与标准3D CNN相比，联合学习语义特征与恶性程度预测是否能提升分类性能？
• RQ3 在不牺牲准确性的前提下，引入基于专家的语义输出在多大程度上能增强模型的可解释性？
• RQ4 在存在读者间差异性的情况下，使用二值化语义标签如何影响模型的性能与鲁棒性？
• RQ5 该模型能否作为语义特征生成器，支持临床决策制定？

主要发现

• HSCNN在LIDC数据集上的恶性程度分类性能显著优于标准3D CNN，经统计检验确认。
• 模型对语义特征（如边缘、纹理）的预测与放射科医生的判断一致，增强了诊断透明度。
• 通过全局损失函数进行联合训练，改善了跨任务的特征泛化能力，从而提升了整体性能。
• 对语义特征进行二值化处理减少了读者间差异带来的噪声，提高了模型稳定性，尤其在低频尺度上表现更优。
• 引入语义特征预测显著增强了模型的可解释性，使临床医生能够理解恶性程度预测背后的推理依据。
• HSCNN框架具有可扩展性，可轻松扩展以包含更多语义特征，或应用于其他医学影像领域。