[论文解读] Mask Editor : an Image Annotation Tool for Image Segmentation Tasks

Chuanhai Zhang, Kurt Loken+3 more|arXiv (Cornell University)|Sep 17, 2018

Advanced Neural Network Applications参考文献 2被引用 10

一句话总结

Mask Editor 是一款用户友好的图像标注工具，旨在通过支持自由曲线绘制、边界框、涂色、擦除、超像素标记、多类别掩码及掩码编辑等功能，显著提升对不规则形状物体的图像分割效率，从而加速图像分割任务。与仅依赖多边形、矩形框或椭圆的传统工具相比，其效率大幅提升。

ABSTRACT

Deep convolutional neural network (DCNN) is the state-of-the-art method for image segmentation, which is one of key challenging computer vision tasks. However, DCNN requires a lot of training images with corresponding image masks to get a good segmentation result. Image annotation software which is easy to use and allows fast image mask generation is in great demand. To the best of our knowledge, all existing image annotation software support only drawing bounding polygons, bounding boxes, or bounding ellipses to mark target objects. These existing software are inefficient when targeting objects that have irregular shapes (e.g., defects in fabric images or tire images). In this paper we design an easy-to-use image annotation software called Mask Editor for image mask generation. Mask Editor allows drawing any bounding curve to mark objects and improves efficiency to mark objects with irregular shapes. Mask Editor also supports drawing bounding polygons, drawing bounding boxes, drawing bounding ellipses, painting, erasing, super-pixel-marking, image cropping, multi-class masks, mask loading, and mask modifying.

研究动机与目标

• 解决现有标注工具在处理不规则形状物体（如织物或轮胎图像中的缺陷）时效率低下的问题。
• 通过提供先进的掩码创建功能，提升基于深度学习的图像分割任务中的标注速度与准确性。
• 支持多样化的标注需求，包括多类别掩码、掩码加载与修改，以构建稳健的数据集。
• 提供灵活且易于使用的界面，专为计算机视觉领域的研究人员和实践者设计。
• 克服当前工具仅支持边界框、多边形或椭圆的局限，这些方法对复杂物体轮廓的表达能力不足。

提出的方法

• 引入自由曲线绘制作为标记不规则边界物体的主要方法，实现精确的分割。
• 支持多种标注模式：边界框、多边形、椭圆、涂色、擦除及超像素标记，实现灵活标注。
• 支持多类别掩码生成，以满足实例分割与语义分割任务的需求。
• 集成掩码加载与修改功能，支持迭代优化与标注复用。
• 整合图像裁剪与交互式编辑功能，简化数据集准备的工作流程。
• 采用轻量化、直观的界面设计，降低用户学习成本，提升大规模标注任务中的生产力。

实验结果

研究问题

• RQ1 如何改进图像标注工具，使其在处理不规则形状物体时，相比当前基于多边形或矩形框的方法更具效率？
• RQ2 自由曲线绘制在复杂物体轮廓上的标注中，能在多大程度上减少标注时间并提升精度？
• RQ3 是否可以通过整合多种标注模式（如涂色、擦除、超像素标记）的统一标注工具，提升图像分割工作流的效率？
• RQ4 该工具在支持多类别掩码创建与迭代掩码编辑方面，对深度学习训练的有效性如何？
• RQ5 在真实计算机视觉应用中，先进标注功能对用户生产力与标注质量的影响如何？

主要发现

• 与依赖多边形或矩形框的传统工具相比，Mask Editor 显著提升了对不规则形状物体的标注效率。
• 自由曲线绘制功能的引入，使复杂物体轮廓的掩码创建更加准确且快速。
• 多类别掩码、掩码加载与编辑功能的支持，实现了迭代优化与标注复用，减少了重复标注工作量。
• 涂色、擦除与超像素标记功能的结合，显著提升了掩码生成的灵活性与精度。
• 界面设计有效缩短了用户学习时间，提升了生产力，适用于计算机视觉领域大规模数据集的创建。
• 通过在单一工具中整合多种标注模式，Mask Editor 有效简化了基于深度学习的图像分割的数据准备流程。