[论文解读] Semi-Automatic RECIST Labeling on CT Scans with Cascaded Convolutional Neural Networks

Youbao Tang, Adam P. Harrison+3 more|arXiv (Cornell University)|Jun 25, 2018

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

本文提出了一种级联的深度学习框架，结合空间变换网络（STN）与堆叠沙漏网络（SHN），用于CT扫描的半自动RECIST标注。通过归一化病灶区域并施加轴向估计的正交约束，该方法减少了标注时间，并在DeepLesion数据集上实现了比放射科医生更低的观察者间变异度，其一致性与精确性优于人工标注。

ABSTRACT

Response evaluation criteria in solid tumors (RECIST) is the standard measurement for tumor extent to evaluate treatment responses in cancer patients. As such, RECIST annotations must be accurate. However, RECIST annotations manually labeled by radiologists require professional knowledge and are time-consuming, subjective, and prone to inconsistency among different observers. To alleviate these problems, we propose a cascaded convolutional neural network based method to semi-automatically label RECIST annotations and drastically reduce annotation time. The proposed method consists of two stages: lesion region normalization and RECIST estimation. We employ the spatial transformer network (STN) for lesion region normalization, where a localization network is designed to predict the lesion region and the transformation parameters with a multi-task learning strategy. For RECIST estimation, we adapt the stacked hourglass network (SHN), introducing a relationship constraint loss to improve the estimation precision. STN and SHN can both be learned in an end-to-end fashion. We train our system on the DeepLesion dataset, obtaining a consensus model trained on RECIST annotations performed by multiple radiologists over a multi-year period. Importantly, when judged against the inter-reader variability of two additional radiologist raters, our system performs more stably and with less variability, suggesting that RECIST annotations can be reliably obtained with reduced labor and time.

研究动机与目标

• 为解决放射科医生在手动RECIST标注中耗时、主观且不一致的问题。
• 在保持高精度测量肿瘤直径的同时，减少标注时间，以评估治疗反应。
• 最小化RECIST测量中的观察者间变异度，因为这会影响临床决策。
• 开发一种半自动方法，仅需放射科医生提供病灶的粗略边界框，整合人类专业知识与深度学习。
• 证明模型预测的RECIST标注比多位人类读者的标注更具一致性。

提出的方法

• 采用级联的两阶段框架：通过空间变换网络（STN）与多任务定位网络实现病灶区域归一化。
• STN使用基于ResNet-50的定位网络，通过联合损失优化预测病灶区域和变换参数。
• 对于RECIST估计，采用改进的堆叠沙漏网络（SHN）预测长轴与短轴的四个关键点端点。
• 引入正交约束损失（余弦损失），以确保估计的长轴与短轴保持垂直，提升几何准确性。
• STN与SHN通过多任务学习端到端联合训练，结合定位、变换和关键点热图监督。
• 该方法在DeepLesion数据集上进行训练，使用多位放射科医生的RECIST标注，构建共识模型。

实验结果

研究问题

• RQ1 深度学习模型能否减少CT扫描中手动RECIST标注的时间与主观性？
• RQ2 结合STN与SHN的级联CNN架构是否能产生比人类放射科医生更一致的RECIST测量结果？
• RQ3 空间变换网络的集成能否提升对病灶大小、方向与位置变化的鲁棒性？
• RQ4 通过余弦损失强制长轴与短轴保持正交，能否提升RECIST估计的准确性？
• RQ5 即使在多评估者标注数据上进行训练，模型的观察者间变异度是否仍低于人类读者？

主要发现

• 所提出的STN+SHN方法在与放射科医生标注对比时，轴线位置与长度的平均差异及标准差均最低，表明其具有更优的一致性。
• 模型RECIST估计的平均误差为长轴4.47 ± 6.26 mm，短轴2.68 ± 4.31 mm，优于所有消融实验变体。
• 该方法的变异度低于另外两名放射科医生，长轴长度标准差为6.26 mm，短轴为4.31 mm，优于人类观察者间变异度。
• 消融研究证实，多任务STN与正交约束损失均显著提升性能，STN+SHN优于所有其他配置。
• 模型预测结果最接近DeepLesion数据集的多评估者共识标注，表明其学习到了泛化性强且无偏见的RECIST测量表征。
• 该框架支持仅需粗略边界框的半自动标注，显著降低放射科医生工作量，同时保持高精度与一致性。