[论文解读] Deep Lesion Tracker: Monitoring Lesions in 4D Longitudinal Imaging Studies

Jinzheng Cai, Youbao Tang+5 more|arXiv (Cornell University)|Dec 9, 2020

AI in cancer detection参考文献 58被引用 5

一句话总结

本文提出深度病灶追踪器（DLT），一种结合外观与解剖信号的深度学习框架，用于在4D纵向CT扫描中追踪病灶。通过整合解剖信号编码器与一种新型孪生网络结构，DLT在病灶中心定位上实现7mm的平均误差，较领先的配准方法提升5%，同时运行速度提升14倍，并在临床数据上表现出良好的泛化能力，在外部测试集上达到88%的准确率。

ABSTRACT

Monitoring treatment response in longitudinal studies plays an important role in clinical practice. Accurately identifying lesions across serial imaging follow-up is the core to the monitoring procedure. Typically this incorporates both image and anatomical considerations. However, matching lesions manually is labor-intensive and time-consuming. In this work, we present deep lesion tracker (DLT), a deep learning approach that uses both appearance- and anatomical-based signals. To incorporate anatomical constraints, we propose an anatomical signal encoder, which prevents lesions being matched with visually similar but spurious regions. In addition, we present a new formulation for Siamese networks that avoids the heavy computational loads of 3D cross-correlation. To present our network with greater varieties of images, we also propose a self-supervised learning (SSL) strategy to train trackers with unpaired images, overcoming barriers to data collection. To train and evaluate our tracker, we introduce and release the first lesion tracking benchmark, consisting of 3891 lesion pairs from the public DeepLesion database. The proposed method, DLT, locates lesion centers with a mean error distance of 7 mm. This is 5% better than a leading registration algorithm while running 14 times faster on whole CT volumes. We demonstrate even greater improvements over detector or similarity-learning alternatives. DLT also generalizes well on an external clinical test set of 100 longitudinal studies, achieving 88% accuracy. Finally, we plug DLT into an automatic tumor monitoring workflow where it leads to an accuracy of 85% in assessing lesion treatment responses, which is only 0.46% lower than the accuracy of manual inputs.

研究动机与目标

• 解决在纵向医学影像研究中实现准确、自动化病灶追踪的挑战。
• 通过开发一种无需配对图像的自监督学习策略，减少对人工标注的依赖。
• 通过将解剖约束与基于外观的匹配相结合，提升追踪的鲁棒性。
• 基于DeepLesion数据库中的3,891对病灶，建立首个公开的病灶追踪基准。

提出的方法

• 提出一种新型孪生网络结构，避免使用计算量大的3D互相关运算。
• 引入解剖信号编码器（ASE），以整合患者解剖结构提供的空间与结构约束。
• 采用可学习分解模块，增强病灶匹配的特征表示能力。
• 采用自监督学习（SSL）策略，在未配对图像上进行训练，从而可利用非纵向数据集。
• 应用中心增强与全局核池化，提升定位精度。
• 通过乘法融合方式结合外观嵌入与解剖信号，提升匹配的特异性。

实验结果

研究问题

• RQ1 基于外观与解剖信号，深度学习模型能否有效追踪4D纵向CT扫描中的病灶？
• RQ2 与仅依赖外观的方法相比，整合解剖约束在多大程度上提升了追踪精度？
• RQ3 自监督学习在多大程度上可减少病灶追踪中对配对纵向标注的依赖？
• RQ4 在速度、精度与临床数据泛化能力方面，DLT与最先进配准与追踪方法相比表现如何？

主要发现

• DLT在病灶中心定位上实现7mm的平均误差，较领先配准算法提升5%。
• 在完整CT体积上，DLT的运行速度是DEEDS的14倍，同时精度更高。
• 在100个纵向临床研究的外部测试集中，DLT实现88%的追踪准确率。
• 在下游病灶大小测量任务中，DLT与人工输入相比仅降低0.46%的治疗反应准确率。
• 自监督学习策略可有效利用未配对图像进行训练，显著降低对昂贵纵向标注的依赖。
• 消融实验证实，解剖信号编码器与可学习分解模块在实现高性能中起关键作用。