[论文解读] IAT - Image Annotation Tool: Manual

Gianluigi Ciocca, Paolo Napoletano+1 more|arXiv (Cornell University)|Feb 18, 2015

Image Retrieval and Classification Techniques参考文献 12被引用 3

一句话总结

IAT 是一款跨平台的图像标注工具，专为在数字图像中使用矩形、椭圆形或多边形形状进行手动区域标注而设计。它支持三级分类体系（类别、类型、名称）用于对象标注，并通过项目化工作流实现状态持久保存，提供直观、用户友好的界面，经可用性测试验证，用户对操作简便性和功能性的反馈积极。

ABSTRACT

The annotation of image and video data of large datasets is a fundamental task in multimedia information retrieval and computer vision applications. In order to support the users during the image and video annotation process, several software tools have been developed to provide them with a graphical environment which helps drawing object contours, handling tracking information and specifying object metadata. Here we introduce a preliminary version of the image annotation tools developed at the Imaging and Vision Laboratory.

研究动机与目标

• 为计算机视觉和多媒体信息检索领域的研究人员和从业者开发一款用户友好、跨平台的图像标注工具。
• 支持使用预定义形状（矩形、椭圆、多边形）高效进行图像区域的手动标注。
• 提供结构化、分层的分类体系（类别、类型、名称），以实现一致且具有语义意义的对象标注。
• 通过项目化标注和状态持久化功能，支持用户在保存后恢复工作。
• 通过用户测试评估可用性，并根据反馈改进界面，以提升效率和直观性。

提出的方法

• 该工具使用 C++ 和 Qt 框架实现，以确保跨平台兼容性和稳健的图形用户界面。
• 用户可通过选择三种几何形状（矩形、椭圆、多边形）进行图像标注，并获得实时视觉反馈。
• 采用三级标签分类体系：类别（如车辆、人员）、类型（如汽车、男性）和名称（图像中唯一实体标识符）。
• 标注数据以人类可读的文本文件形式存储，支持加载/保存功能和会话间的状态持久化。
• 界面包含形状选择工具栏、标签层级浏览器和用于修改标注属性的选项菜单。
• 提供键盘快捷键和帮助菜单，以增强可用性并减少对鼠标操作的依赖。

实验结果

研究问题

• RQ1 IAT 工具在支持手动图像标注方面，其可用性和用户效率如何？
• RQ2 三级分类体系（类别、类型、名称）在多大程度上提升了标注的一致性和语义清晰度？
• RQ3 轻量级、跨平台的标注工具能否在不同技术水平的用户中实现高可用性？
• RQ4 多边形标注和项目管理工作流中的主要可用性挑战是什么？
• RQ5 用户对标注界面和键盘快捷键的直观性和功能性的感知如何？

主要发现

• 可用性测试显示，除一人因程序崩溃导致失败外，其余所有用户均成功完成所有任务。
• 用户对系统易用性评分较高（平均 4.14/5），对直观功能（平均 4.28/5）和有效标注速度（平均 4.28/5）高度认同。
• 界面被认为易于理解（平均 3.71/5），且大多数用户认为键盘快捷键有用（平均 3.71/5）。
• 部分用户报告在多边形标注和项目启动方面存在困难，尤其是计算机使用经验较低的用户。
• 反馈表明系统并不过于复杂（复杂度平均 2.28/5），但认为帮助窗口内容略显不完整（平均 3.14/5）。
• 用户建议改进功能，例如在工具内直接创建和编辑标签分类文件，凸显了对增强元数据管理的需求。