[论文解读] Characterization of Lung Nodule Malignancy using Hybrid Shape and Appearance Features

Mario Buty, Ziyue Xu+4 more|arXiv (Cornell University)|Sep 21, 2016

Radiomics and Machine Learning in Medical Imaging参考文献 4被引用 6

一句话总结

本文提出了一种混合计算机辅助诊断方法，通过结合球谐（SH）形状描述符与深度卷积神经网络（DCNN）提取的外观特征，实现肺结节恶性程度分类。在LIDC数据集上，使用随机森林分类器，混合模型实现了81.2%的错一分类准确率，优于单独的SH或DCNN模型，并展现出与专家间观察者一致性的相当鲁棒性。

ABSTRACT

Computed tomography imaging is a standard modality for detecting and assessing lung cancer. In order to evaluate the malignancy of lung nodules, clinical practice often involves expert qualitative ratings on several criteria describing a nodule's appearance and shape. Translating these features for computer-aided diagnostics is challenging due to their subjective nature and the difficulties in gaining a complete description. In this paper, we propose a computerized approach to quantitatively evaluate both appearance distinctions and 3D surface variations. Nodule shape was modeled and parameterized using spherical harmonics, and appearance features were extracted using deep convolutional neural networks. Both sets of features were combined to estimate the nodule malignancy using a random forest classifier. The proposed algorithm was tested on the publicly available Lung Image Database Consortium dataset, achieving high accuracy. By providing lung nodule characterization, this method can provide a robust alternative reference opinion for lung cancer diagnosis.

研究动机与目标

• 开发一种完全自动化、定量的肺结节恶性程度分类方法，以补充专家放射学评估。
• 通过整合三维形状与纹理/外观特征，解决主观、定性结节表征的局限性。
• 结合球谐用于三维形状建模，以及深度学习用于外观特征提取，以提升分类鲁棒性。
• 评估混合模型在LIDC数据集上与观察者间变异性的性能，以错一分类准确率为现实基准。
• 证明形状特征与外观特征具有互补性，且其融合可显著提升恶性程度预测性能，超越单一模态。

提出的方法

• 通过网格生成方法从二值分割重建结节表面，再通过共形映射将表面映射到球面参数域，以实现球谐（SH）表示。
• 计算球谐系数以编码三维形状变化，提供旋转与尺度不变的形状描述符。
• 沿结节主轴方向提取局部3D CT图像块，并输入预训练的ImageNet DCNN以提取深度外观特征。
• 将DCNN特征与SH系数结合，形成用于恶性程度分类的混合特征向量。
• 使用混合特征训练随机森林分类器，预测1–5级恶性程度评分，性能通过10折交叉验证评估。
• 在结节层面进行数据集划分，以防止数据泄露；模型在不同标注者数量和SH系数数量下进行评估。

实验结果

研究问题

• RQ1 结合球谐形状描述符与基于深度学习的外观特征的混合模型，是否能超越单一方法，在肺结节恶性程度分类中实现性能提升？
• RQ2 该混合模型的性能与LIDC数据集中放射科医生之间的观察者间变异性的比较如何？
• RQ3 增加更多球谐系数是否总是能提升分类准确率？是否存在一个最优系数数量，超过后噪声反而增加？
• RQ4 DCNN提取的外观特征与SH-based形状特征在恶性程度预测中提供多大程度的互补信息？
• RQ5 完全自动化系统是否能通过错一容差作为基准，实现与专家放射科医生相当的恶性程度分类准确率？

主要发现

• 当使用100个SH系数且至少有一位标注者时，混合模型实现了81.2%的错一分类准确率，优于仅DCNN模型（79.1%）和仅SH模型（77.2%）。
• 当使用150个SH系数且有两位标注者时，混合模型达到80.3%的错一分类准确率，表明在不同输入条件下均保持一致的优越性。
• 增加SH系数并不总是提升性能；超过某一临界点后，额外系数可能引入噪声而非有效形状信息。
• 混合模型的性能与LIDC数据集中观察者间变异性的水平相当，表明其可作为可靠的自动化参考意见。
• 结果表明，通过SH提取的形状特征与通过DCNN提取的外观特征具有互补性，其融合显著提升了恶性程度预测性能。
• 本研究证明，使用在自然图像上预训练的DCNN进行迁移学习，无需在LIDC数据集上微调，即可有效提取相关结节外观特征。