[论文解读] Accurate Weakly-Supervised Deep Lesion Segmentation using Large-Scale Clinical Annotations: Slice-Propagated 3D Mask Generation from 2D RECIST

Jinzheng Cai, Youbao Tang+6 more|arXiv (Cornell University)|Jul 2, 2018

Radiomics and Machine Learning in Medical Imaging参考文献 16被引用 7

一句话总结

本文提出了一种弱监督3D病灶分割方法，利用CT扫描中大规模临床RECIST标注生成无需完整手动分割的精确体积病灶掩码。通过切片传播的CNN框架，该方法首先在RECIST标记的切片上使用GrabCut初始化进行病灶分割，并在相邻切片间迭代优化预测，最终在RECIST切片上实现92%的平均Dice分数，在完整3D体积上实现76%的平均Dice分数。

ABSTRACT

Volumetric lesion segmentation from computed tomography (CT) images is a powerful means to precisely assess multiple time-point lesion/tumor changes. However, because manual 3D segmentation is prohibitively time consuming, current practices rely on an imprecise surrogate called response evaluation criteria in solid tumors (RECIST). Despite their coarseness, RECIST markers are commonly found in current hospital picture and archiving systems (PACS), meaning they can provide a potentially powerful, yet extraordinarily challenging, source of weak supervision for full 3D segmentation. Toward this end, we introduce a convolutional neural network (CNN) based weakly supervised slice-propagated segmentation (WSSS) method to 1) generate the initial lesion segmentation on the axial RECIST-slice; 2) learn the data distribution on RECIST-slices; 3) extrapolate to segment the whole lesion slice by slice to finally obtain a volumetric segmentation. To validate the proposed method, we first test its performance on a fully annotated lymph node dataset, where WSSS performs comparably to its fully supervised counterparts. We then test on a comprehensive lesion dataset with 32,735 RECIST marks, where we report a mean Dice score of 92% on RECIST-marked slices and 76% on the entire 3D volumes.

研究动机与目标

• 解决从CT扫描中弱监督、临床可获取的RECIST标注生成精确3D病灶分割的挑战。
• 开发一种方法，利用大规模回顾性临床数据——特别是RECIST直径——而无需像素级标注。
• 为精准定量放射学实现自动化、可扩展且精确的体积肿瘤测量。
• 证明利用RECIST数据的弱监督学习可优于在有限标注子集上训练的完全监督模型。
• 在完全标注的淋巴结数据集和包含32,735个RECIST标记的大规模病灶数据集上验证该方法。

提出的方法

• 在RECIST切片上进行初始病灶分割，采用基于RECIST直径生成的空间先验种子的GrabCut方法，以提高初始化质量。
• 使用仅RECIST切片进行训练的CNN模型（HNN），通过RECIST直径的弱监督学习，捕捉跨CT切片的病灶外观模式。
• 该方法采用逐切片、迭代传播策略：在分割RECIST切片后，利用相邻切片的预测结果对模型进行微调，进而进一步优化模型。
• 框架采用3、5或7个轴向切片的3D传播策略，将分割泛化至RECIST切片之外，提升对解剖变异的鲁棒性。
• 通过相邻切片的预测结果迭代更新模型权重，利用伪标签和主动优化实现自我改进。
• 最终通过在体积内所有切片上传播优化后的模型生成3D分割结果，生成完整病灶掩码，无需额外标注。

实验结果

研究问题

• RQ1 能否有效利用医院PACS系统中通常存储的RECIST直径，训练无需像素级标注的3D病灶分割模型？
• RQ2 与直接的3D RECIST近似相比，基于CNN模型的逐切片传播策略在RECIST切片之外如何提升分割精度？
• RQ3 在大规模、不完美标注的RECIST数据上进行弱监督学习，能在多大程度上超越在较小、完全标注数据集上训练的完全监督模型？
• RQ4 在弱监督设置下，传播多少切片（如3、5、7）能最大化3D分割性能？
• RQ5 该方法能否在不同解剖部位和病灶类型间保持高分割精度，实现良好泛化？

主要发现

• 在包含32,735个RECIST标记的DeepLesion数据集上，所提出的WSSS方法在RECIST切片上实现了92%的平均Dice分数，证明了在弱监督病灶定位中的高精度。
• 对于完整3D病灶体积，该方法实现了76%的平均Dice分数，显著优于基线方法如GrabCut-3DE（偏移4时为55%）和单独的HNN（平均75.6%）。
• 采用切片传播的方法（WSSS-7）在所有病灶类型上实现了76.2%的平均Dice分数，相较于非传播基线方法最高提升1.5%。
• 该方法优于仅在1,000个标注切片上训练的完全监督模型，表明大规模临床数据的弱监督可超越有限的完全监督学习。
• 由一位认证放射科医生进行的定性评估确认，该方法在80%的病例中成功捕捉了病灶边界，仅在20%的病例中存在轻微假阳性或遗漏区域。
• 仅在RECIST切片上训练的HNN模型在淋巴结数据集上实现了83.7%的平均Dice分数，接近完全监督UNet（83.8%）和HNN（84.5%）使用真实掩码的性能。