[论文解读] A multi-task U-net for segmentation with lazy labels

Rihuan Ke, Aurélie Bugeau+3 more|arXiv (Cornell University)|Jul 22, 2019

Medical Image Segmentation Techniques参考文献 22被引用 12

一句话总结

本文提出了一种多任务U-Net，仅使用少量像素级标注图像和更大规模的粗略、'懒惰'标签，即可实现准确的多类别图像分割。通过将粗略检测、实例分离和精确边界预测整合到端到端的半监督框架中，该模型即使在精确标注数据有限的情况下也能实现高 segmentation 精度，显著降低标注成本。

ABSTRACT

The need for labour intensive pixel-wise annotation is a major limitation of many fully supervised learning methods for image segmentation. In this paper, we propose a deep convolutional neural network for multi-class segmentation that circumvents this problem by being trainable on coarse data labels combined with only a very small number of images with pixel-wise annotations. We call this new labelling strategy 'lazy' labels. Image segmentation is then stratified into three connected tasks: rough detection of class instances, separation of wrongly connected objects without a clear boundary, and pixel-wise segmentation to find the accurate boundaries of each object. These problems are integrated into a multitask learning framework and the model is trained end-to-end in a semi-supervised fashion. The method is applied on a dataset of food microscopy images. We show that the model gives accurate segmentation results even if exact boundary labels are missing for a majority of the annotated data. This allows more flexibility and efficiency for training deep neural networks that are data hungry in a practical setting where manual annotation is expensive, by collecting more lazy (rough) annotations than precisely segmented images.

研究动机与目标

• 解决医学和科学图像分割中像素级标注的高成本和高工作量问题。
• 实现利用粗略（懒惰）标签和极少量完全标注图像的有效深度分割模型训练。
• 开发一种多任务学习框架，联合优化对象检测、实例分离和精确边界预测。
• 在精确标注昂贵难获取的数据稀缺场景下，提升分割性能。
• 展示在真实世界显微成像中，使用懒惰标签的半监督学习的可行性和有效性。

提出的方法

• 该模型采用多任务U-Net架构，执行三个相互关联的分割任务：类别实例的粗略检测、重叠或错误连接物体的分离，以及精确的像素级边界预测。
• 该框架以端到端的方式进行半监督训练，利用粗略标签和少量像素级标注图像。
• 损失函数结合了所有三个任务的监督信号，使网络能够从弱标签数据中学习，同时利用少量精确标注来优化边界。
• 该方法明确建模了分割的层次性：从粗略定位到细粒度边界勾勒。
• 通过结合交叉熵损失和边界感知损失来训练架构，即使在精确标注有限的情况下，也能提高定位精度。
• 该方法在食品显微图像数据集上进行了评估，模型从少量完全标注图像和较大规模的粗略标签中进行学习。

实验结果

研究问题

• RQ1 深度学习模型是否仅使用少量像素级标注图像和大量粗略的懒惰标注图像，也能实现高分割精度？
• RQ2 多任务学习框架在整合粗略检测、实例分离和精确边界预测用于半监督分割方面，效果如何？
• RQ3 懒惰标签在多大程度上能降低标注成本而不牺牲分割性能？
• RQ4 在低监督设置下，整合多个分割任务是否能提升泛化能力和边界精度？

主要发现

• 即使训练数据中仅有一小部分包含像素级标注，该模型仍能实现高分割精度，证明了在弱监督下具有强大的泛化能力。
• 使用粗略标签显著降低了标注工作量，同时保持了与完全监督基线方法相当的性能。
• 多任务框架使网络能够学习层次化表征，从而同时提升实例分离和边界精确度。
• 在食品显微图像数据集上，该模型优于标准U-Net和其他半监督方法，尤其在处理重叠或连接物体方面表现更优。