[论文解读] CheXseg: Combining Expert Annotations with DNN-generated Saliency Maps for X-ray Segmentation

Soham Gadgil, Mark Endo+3 more|arXiv (Cornell University)|Feb 21, 2021

Advanced X-ray and CT Imaging参考文献 28被引用 7

一句话总结

CheXseg 提出了一种半监督方法，结合放射科医生标注的像素级标签与预训练分类模型生成的深度神经网络（DNN）显著性图，以提升多病种胸部X光片的分割性能。通过融合高质量的专家标注与可扩展的弱监督信号，CheXseg 相较于完全监督方法实现了 9.7% 的 mIoU 提升，并将与放射科医生之间的性能差距缩小了 57.2%。

ABSTRACT

Medical image segmentation models are typically supervised by expert annotations at the pixel-level, which can be expensive to acquire. In this work, we propose a method that combines the high quality of pixel-level expert annotations with the scale of coarse DNN-generated saliency maps for training multi-label semantic segmentation models. We demonstrate the application of our semi-supervised method, which we call CheXseg, on multi-label chest X-ray interpretation. We find that CheXseg improves upon the performance (mIoU) of fully-supervised methods that use only pixel-level expert annotations by 9.7% and weakly-supervised methods that use only DNN-generated saliency maps by 73.1%. Our best method is able to match radiologist agreement on three out of ten pathologies and reduces the overall performance gap by 57.2% as compared to weakly-supervised methods.

研究动机与目标

• 解决医学图像分割中像素级专家标注成本高且稀缺的问题。
• 克服仅依赖 DNN 生成显著性图的弱监督方法的局限性，这些显著性图通常不可靠且精度较低。
• 开发一种半监督框架，有效结合专家标注的精度与预训练分类模型提供的弱监督的可扩展性。
• 提升多病种胸部X光片解读中的分割性能，尤其针对常见病种如肺不张和胸腔积液。
• 证明使用任务特定预训练权重（CheXpert）初始化模型可显著提升性能，优于通用 ImageNet 或自监督（MoCo）权重。

提出的方法

• 在包含 224,316 张图像的 CheXpert 数据集上，针对 10 种常见胸部X光片病种执行多病种分割任务。
• 利用 IRNet（像素间关系网络）处理预训练分类模型生成的 Grad-CAM++ 显著性图，生成伪标签。
• 使用专家标注的 150 个像素级标签与 1,000 个显著性图伪标签的加权组合，训练 DeepLabV3+ 分割模型。
• 采用一种采样策略，平衡专家标注与显著性图伪标签，最优专家与伪标签比例为 0.9 时，mIoU 表现最佳。
• 使用在相同数据集和任务上预训练的 CheXpert 模型权重初始化分割编码器，相比 ImageNet 或 MoCo-CXR 初始化，可实现更优的特征迁移。
• 在 500 张放射科医生标注的保留测试集上，使用 mIoU 评估模型性能。

实验结果

研究问题

• RQ1 与完全监督或弱监督基线相比，结合专家标注的像素级标签与 DNN 生成的显著性图是否能显著提升分割性能？
• RQ2 编码器初始化方式（CheXpert、ImageNet、MoCo-CXR、随机）对半监督分割模型性能有何影响？
• RQ3 在 mIoU 和泛化能力方面，专家标注与显著性图伪标签之间的最优平衡比例如何？
• RQ4 所提出的半监督方法在多大程度上缩小了自动化分割与放射科医生水平定位精度之间的性能差距？
• RQ5 使用任务特定预训练权重（CheXpert）是否能带来优于通用预训练或自监督方法的分割性能？

主要发现

• CheXseg 实现了 0.270 的平均交并比（mIoU），相较仅使用专家标注的完全监督方法（mIoU = 0.246）提升了 9.7%。
• 与仅使用 DNN 生成显著性图的弱监督方法相比（mIoU = 0.156），CheXseg 将与放射科医生水平定位的性能差距缩小了 57.2%。
• 在三种病种上，CheXseg 的 mIoU 超过放射科医生：肺不张（高 156%）、肺泡浸润（高 70%）、胸腔积液（高 30%）。
• CheXpert 编码器初始化表现最佳，优于 ImageNet 和 MoCo-CXR 初始化，且显著优于随机初始化的泛化能力。
• 在结合 CheXpert 初始化时，基于 IRNet 的伪标签方法优于标准 Grad-CAM（mIoU 0.156 vs. 0.142），但在其他初始化方式下表现较差。
• 最优训练策略采用 0.9 的专家标注与显著性图伪标签比例，平衡了准确性与覆盖范围，从而最大化 mIoU。