[论文解读] Automatic Vertebra Labeling in Large-Scale 3D CT using Deep Image-to-Image Network with Message Passing and Sparsity Regularization

Dong Yang, Tao Xiong+11 more|arXiv (Cornell University)|May 17, 2017

Medical Imaging and Analysis参考文献 9被引用 9

一句话总结

本文提出一种基于消息传递和稀疏正则化的深度图像到图像网络（DI2IN），用于3D CT扫描中的自动椎体标记。在大规模数据集上，该方法实现了90%的识别率，定位误差低于10mm，单张扫描推理时间约为3秒（GPU），优于当前最先进方法。

ABSTRACT

Automatic localization and labeling of vertebra in 3D medical images plays an important role in many clinical tasks, including pathological diagnosis, surgical planning and postoperative assessment. However, the unusual conditions of pathological cases, such as the abnormal spine curvature, bright visual imaging artifacts caused by metal implants, and the limited field of view, increase the difficulties of accurate localization. In this paper, we propose an automatic and fast algorithm to localize and label the vertebra centroids in 3D CT volumes. First, we deploy a deep image-to-image network (DI2IN) to initialize vertebra locations, employing the convolutional encoder-decoder architecture together with multi-level feature concatenation and deep supervision. Next, the centroid probability maps from DI2IN are iteratively evolved with the message passing schemes based on the mutual relation of vertebra centroids. Finally, the localization results are refined with sparsity regularization. The proposed method is evaluated on a public dataset of 302 spine CT volumes with various pathologies. Our method outperforms other state-of-the-art methods in terms of localization accuracy. The run time is around 3 seconds on average per case. To further boost the performance, we retrain the DI2IN on additional 1000+ 3D CT volumes from different patients. To the best of our knowledge, this is the first time more than 1000 3D CT volumes with expert annotation are adopted in experiments for the anatomic landmark detection tasks. Our experimental results show that training with such a large dataset significantly improves the performance and the overall identification rate, for the first time by our knowledge, reaches 90 %.

研究动机与目标

• 解决在存在脊柱畸形、金属伪影和视野受限等病理情况下的3D CT扫描中准确定位椎体的挑战。
• 克服现有方法依赖粗分类或在低对比度或伪影严重的扫描中缺乏上下文建模的局限性。
• 开发一种端到端深度学习框架，直接从3D体素数据回归椎体中心点，无需中间特征提取步骤。
• 通过整合消息传递以建模椎体间关系，以及引入稀疏正则化以抑制假阳性检测，提升模型的鲁棒性和准确性。
• 通过在超过1,000个额外标注的3D CT体素上微调，展示大规模训练的优势，显著提升性能。

提出的方法

• 采用全卷积、编码器-解码器结构的深度图像到图像网络（DI2IN），实现体素级回归，直接将3D CT体素映射为多通道椎体中心点概率图。
• 使用多层级跳跃连接和深度监督，以增强训练过程中特征学习与定位精度。
• 在概率图上应用消息传递机制，通过利用椎体间的空间关系和相互一致性，优化预测结果。
• 引入稀疏正则化，通过在最终概率图中强制稀疏激活模式，抑制假阳性检测。
• 采用多通道体素级回归方式端到端训练模型，以真实椎体中心点位置作为监督信号。
• 在包含超过1,000个额外标注的3D CT体素的扩展数据集上对DI2IN进行微调，以提升泛化能力与性能。

实验结果

研究问题

• RQ1 是否能够通过深度图像到图像网络在无需预处理或粗检测阶段的情况下，有效实现3D CT扫描中椎体中心点的定位？
• RQ2 在存在图像伪影和病理情况时，椎体间的消息传递如何提升定位精度？
• RQ3 在复杂或低对比度的脊柱CT扫描中，稀疏正则化在多大程度上能减少假阳性检测？
• RQ4 与较小规模基准相比，在包含超过1,000个标注3D CT体素的大规模数据集上进行训练，是否能显著提升识别与定位性能？
• RQ5 所提出的方法是否能在临床相关场景中同时实现高精度与实时推理速度（例如每张扫描约3秒）？

主要发现

• 在使用超过1,000个额外3D CT体素微调后，该方法在测试集上实现了90%的识别率，显著优于先前最先进方法。
• 在扩展数据集上训练后，全测试集的平均定位误差降低至6.4 mm（标准差5.9 mm），优于先前方法。
• 在扩展数据集上训练后，该方法对颈椎的识别率达到93%，对腰椎的识别率为90%。
• 与基础DI2IN模型相比，消息传递和稀疏正则化组件分别将平均定位误差降低了2.7 mm和1.1 mm。
• 在GPU上，单个3D CT体素的平均推理时间约为3秒，展现出适合临床部署的高效率。
• 在包含超过1,000个标注3D CT体素的大规模数据集上进行微调，显著提升了性能，这也是首次在椎体关键点检测任务中使用如此大规模的训练数据集。