[论文解读] Every Annotation Counts: Multi-label Deep Supervision for Medical Image Segmentation

Simon Reiß, Constantin Seibold+3 more|arXiv (Cornell University)|Apr 27, 2021

Advanced Neural Network Applications参考文献 64被引用 14

一句话总结

该论文提出了一种新颖的半弱监督深度学习框架，用于医学图像分割，通过一种新型多标签深度监督机制和均值教师学生-教师模型，整合了多种监督类型——像素级掩码、边界框、全局标签和无标签数据。该方法将昂贵的像素级标注需求减少了94.22%，仅使用5.78%的强标签即实现了全监督基线模型95%的性能。

ABSTRACT

Pixel-wise segmentation is one of the most data and annotation hungry tasks in our field. Providing representative and accurate annotations is often mission-critical especially for challenging medical applications. In this paper, we propose a semi-weakly supervised segmentation algorithm to overcome this barrier. Our approach is based on a new formulation of deep supervision and student-teacher model and allows for easy integration of different supervision signals. In contrast to previous work, we show that care has to be taken how deep supervision is integrated in lower layers and we present multi-label deep supervision as the most important secret ingredient for success. With our novel training regime for segmentation that flexibly makes use of images that are either fully labeled, marked with bounding boxes, just global labels, or not at all, we are able to cut the requirement for expensive labels by 94.22% - narrowing the gap to the best fully supervised baseline to only 5% mean IoU. Our approach is validated by extensive experiments on retinal fluid segmentation and we provide an in-depth analysis of the anticipated effect each annotation type can have in boosting segmentation performance.

研究动机与目标

• 解决医学图像分割中的高标注成本问题，即专家标注的像素级掩码耗时且稀缺。
• 通过将多种监督信号——像素级、边界框、全局标签和无标签数据——统一整合到单一训练框架中，克服标准弱监督或半监督学习的局限性。
• 开发一种稳健的训练方案，在低数据环境下稳定学习并提升泛化能力，利用深度监督和伪标签技术。
• 证明在较低网络层中有效集成深度监督对性能至关重要，尤其是在低样本设置下。

提出的方法

• 提出多标签深度监督，一种新型深度监督形式，通过多标签交叉熵损失将监督信号注入分割网络的中间层。
• 应用均值教师学生-教师模型，为无标签和弱标签图像生成鲁棒的伪标签，以增强模型泛化能力。
• 设计一种灵活的训练流程，支持在单一端到端训练过程中混合使用完全标注、边界框、全局标签和无标签数据。
• 采用迭代训练策略，结合多组数据划分与标准差报告，确保在低数据场景下评估的稳定性和可复现性。
• 不仅在最终输出层，而且在低分辨率、深层网络中引入深度监督，以改善特征学习和梯度传播。
• 通过改进的MIL类似方法利用全局图像级标签，在像素级标注稀缺时引导模型学习。

实验结果

研究问题

• RQ1 如何在单一分割训练框架中有效统一多种弱监督和部分监督类型（像素级、边界框、全局标签、无标签）？
• RQ2 在低数据环境下，将深度监督集成到网络较低层对分割性能有何影响？
• RQ3 当与多标签深度监督结合时，均值教师模型配合伪标签技术是否能显著提升医学图像分割性能？
• RQ4 在不牺牲模型性能的前提下，可将昂贵的像素级标注数量减少到何种程度？

主要发现

• 仅使用总像素级标注中5.78%（在Cirrus数据集上平均415.5个掩码中的24个），所提出的均值教师深度监督模型在Cirrus数据集上达到45.85%的mIoU，实现了全监督基线模型95%的性能。
• 与全监督基线相比，该方法将所需昂贵像素级标注数量减少了94.22%，显著缩小了性能差距。
• 仅使用多标签深度监督，mIoU在不同数据设置下相比标准交叉熵监督提升了3.18%至7.57%。
• 即使仅有6个像素级掩码和全局标签，均值教师深度监督模型仍优于使用完整边界框标注训练的模型，凸显了所提监督整合策略的强大能力。
• 在10次训练划分下，该模型在Cirrus数据集上达到35.82% mIoU，在Topcon数据集上达到45.85% mIoU，展现出在不同OCT扫描仪厂商数据上的强大泛化能力。
• 消融实验证实，低层网络中的深度监督至关重要——若缺失，性能显著下降，尤其在低样本设置下更为明显。