[论文解读] Learning Intelligent Dialogs for Bounding Box Annotation

Ksenia Konyushkova, Jasper Uijlings+2 more|arXiv (Cornell University)|Dec 21, 2017

Multimodal Machine Learning Applications参考文献 48被引用 8

一句话总结

本文提出智能标注对话（IAD），一种自适应智能体，能动态在框验证与手动绘制之间选择，以最小化边界框标注的时间。通过使用概率验证预测或强化学习，IAD 在不同检测器性能、图像难度和质量要求下均优于固定策略，并在检测器随时间改进时持续演化出最优策略。

ABSTRACT

We introduce Intelligent Annotation Dialogs for bounding box annotation. We train an agent to automatically choose a sequence of actions for a human annotator to produce a bounding box in a minimal amount of time. Specifically, we consider two actions: box verification, where the annotator verifies a box generated by an object detector, and manual box drawing. We explore two kinds of agents, one based on predicting the probability that a box will be positively verified, and the other based on reinforcement learning. We demonstrate that (1) our agents are able to learn efficient annotation strategies in several scenarios, automatically adapting to the image difficulty, the desired quality of the boxes, and the detector strength; (2) in all scenarios the resulting annotation dialogs speed up annotation compared to manual box drawing alone and box verification alone, while also outperforming any fixed combination of verification and drawing in most scenarios; (3) in a realistic scenario where the detector is iteratively re-trained, our agents evolve a series of strategies that reflect the shifting trade-off between verification and drawing as the detector grows stronger.

研究动机与目标

• 降低目标检测数据集中人工边界框标注的高昂成本。
• 通过动态适应图像难度、检测器质量及所需框精度，解决纯验证或纯手动绘制等固定标注策略的局限性。
• 开发一种智能智能体，学习最优动作序列（验证/绘制），以最小化标注时间，同时保持高质量的边界框。
• 在检测器性能随时间提升的现实迭代训练场景中评估该智能体。
• 证明自适应策略能随检测器改进而演化，而静态启发式策略则不能。

提出的方法

• IAD 智能体根据图像特征和检测器输出选择动作（框验证或手动绘制），将标注时间建模为问题属性的函数。
• 一种方法预测框建议被正确定义的概率，指导动作选择以最小化期望时间。
• 第二种方法使用强化学习，通过试错交互直接优化最小标注时长。
• 系统在 PASCAL VOC 2007 上进行评估，涵盖不同检测器强度、期望框质量等级及手动绘制界面（包括 7 秒/框方法）。
• 在迭代训练中，检测器在新标注数据上重新训练，IAD 智能体随之适应检测器性能的演变。
• 智能体在先前标注阶段收集的数据上进行训练，使用已验证框（IoU ≥ 0.7）和手动绘制框。

实验结果

研究问题

• RQ1 智能智能本能否学习在框验证与手动绘制之间动态选择，以最小化标注时间？
• RQ2 在不同检测器强度和图像难度下，IAD 智能体的性能与固定策略（如纯验证或纯绘制）相比如何？
• RQ3 在通过迭代重训练使检测器性能提升的过程中，IAD 智能体能否自适应调整其策略？
• RQ4 当检测器质量与期望框紧密度发生变化时，智能体的策略是否发生有意义的演化？
• RQ5 在时间效率方面，验证与绘制之间存在何种权衡？智能体能否学会优化该权衡？

主要发现

• 在所有测试场景中，IAD 显著减少了标注时间，优于仅使用手动绘制或仅使用验证的策略。
• 在大多数场景中，IAD 超越了任何固定组合的验证与绘制策略，证明了动态策略选择的优势。
• 在迭代重训练设置中，IAD 的策略从以手动绘制为主（当检测器性能弱时）逐步演化为更多依赖验证（随着检测器性能提升）。
• 使用 IAD 时，每框的平均标注时间随时间减少，而固定验证策略（V-hor）的标注时间则因残余困难样本而增加。
• 在 IAD 标注数据上训练的最终检测器，其 mAP 达到真实标注数据训练检测器的 98%，表明输出质量高。
• 在标注框中，56% 为验证框，44% 为手动绘制框，验证框的 mIoU 达到 83%，显示出与真实标注的高度一致。