[论文解读] Fluid Annotation: A Human-Machine Collaboration Interface for Full Image Annotation

Mykhaylo Andriluka|arXiv (Cornell University)|Jun 20, 2018

Advanced Neural Network Applications参考文献 80被引用 20

一句话总结

Fluid Annotation 引入了一种人机协作界面，可在单次操作中完成完整图像标注——即对所有物体和背景区域进行标注——并以强大的神经网络预测结果作为起点。通过使标注人员仅专注于通过直观的编辑操作纠正模型错误，其标注时间相比 LabelMe 缩短了 3 倍，同时保持了高质量的分割效果。

ABSTRACT

We introduce Fluid Annotation, an intuitive human-machine collaboration interface for annotating the class label and outline of every object and background region in an image. Fluid annotation is based on three principles: (I) Strong Machine-Learning aid. We start from the output of a strong neural network model, which the annotator can edit by correcting the labels of existing regions, adding new regions to cover missing objects, and removing incorrect regions. The edit operations are also assisted by the model. (II) Full image annotation in a single pass. As opposed to performing a series of small annotation tasks in isolation, we propose a unified interface for full image annotation in a single pass. (III) Empower the annotator. We empower the annotator to choose what to annotate and in which order. This enables concentrating on what the machine does not already know, i.e. putting human effort only on the errors it made. This helps using the annotation budget effectively. Through extensive experiments on the COCO+Stuff dataset, we demonstrate that Fluid Annotation leads to accurate annotations very efficiently, taking three times less annotation time than the popular LabelMe interface.

研究动机与目标

• 解决深度学习中因昂贵的手动图像标注导致的瓶颈问题，以支持语义分割任务。
• 减少完整图像标注（包括物体实例和 stuff 类别，如背景区域）的标注时间和工作量。
• 设计一种直观的界面，支持在单次操作中完成完整图像标注，避免碎片化的微任务工作流。
• 使标注人员能够专注于纠正模型错误，而非重复或冗余的标注任务。
• 在不牺牲质量的前提下提升标注效率，尤其针对具有细粒度或模糊区域的复杂场景。

提出的方法

• 以高质量的神经网络预测结果（例如，来自最先进模型的结果）作为每张图像的初始分割掩码。
• 允许标注人员执行三种核心编辑操作：添加新区域、删除错误区域，以及更改标签或深度顺序。
• 在编辑过程中提供实时的模型辅助，例如基于上下文建议合理的分割结果或优化边界。
• 设计统一的界面，同时显示所有预测区域，支持整体评估与针对性修正。
• 支持灵活的标注顺序，使标注人员可优先处理最不确定或易出错的区域，由模型置信度引导。
• 使用模拟标注人员优化界面设计，并在真实专家标注人员评估前验证其有效性。

实验结果

研究问题

• RQ1 人机协作界面是否能在保持高质量输出的前提下，减少完整图像分割的标注时间？
• RQ2 允许标注人员自主选择编辑顺序和关注重点，是否相比固定或机器引导的工作流能更高效地利用标注资源？
• RQ3 与 LabelMe 和 COCO+Stuff 等成熟方法相比，Fluid Annotation 生成的标注在像素级一致性和分割准确性方面表现如何？
• RQ4 该界面在多大程度上减少了冗余或低价值标注任务所花费的时间？
• RQ5 该界面能否有效处理诸如模糊物体、不规则形状或模糊类别边界的挑战性情况？

主要发现

• 与 LabelMe 界面相比，Fluid Annotation 将平均标注时间减少了 3 倍，专家标注人员完成完整图像标注的速度显著提升。
• 该界面在物体分割上实现了 83% 的召回率，平均每张图像仅需 9 次标注操作，而 LabelMe 达到相同召回率需 2.5 倍以上的微操作次数。
• 使用 Fluid Annotation 生成的标注在专家标注者之间的一致性范围为 65% 至 69%，与 COCO+Stuff 报告的 74% 一致性相当，处于人类标注数据集的合理预期范围内。
• Fluid Annotation 中耗时最长的操作是 '添加'（占总时间的 18%），而 66% 的时间花费在操作之间，表明决策制定和视觉评估是主要的时间消耗环节。
• 定性分析显示，不同界面间存在分歧的主要原因在于标签的细微差异（如 'wall-concrete' 与 'wall-other'）或模糊的物体边界，而非根本性的分割错误。
• 该界面在大多数物体上表现良好，但在高度不规则或模糊的区域（如圣诞灯串、模糊的门框）上仍存在困难，即使传统基于多边形的工具也仅能生成近似轮廓。