[论文解读] Annotating Object Instances with a Polygon-RNN

Lluís Castrejón, Kaustav Kundu+2 more|arXiv (Cornell University)|Apr 18, 2017

Advanced Image and Video Retrieval Techniques参考文献 33被引用 40

一句话总结

本文提出Polygon-RNN，一种半自动的物体实例标注方法，利用循环神经网络从图像裁剪中预测勾勒物体的多边形顶点，使标注者能够进行交互式修正。该方法在Cityscapes数据集上将标注时间减少了4.7倍，并实现了与真实标注一致的78.4% IoU一致率——达到人类标注者的一致性水平，同时在未见过的数据集如KITTI上也具备良好的泛化能力。

ABSTRACT

We propose an approach for semi-automatic annotation of object instances. While most current methods treat object segmentation as a pixel-labeling problem, we here cast it as a polygon prediction task, mimicking how most current datasets have been annotated. In particular, our approach takes as input an image crop and sequentially produces vertices of the polygon outlining the object. This allows a human annotator to interfere at any time and correct a vertex if needed, producing as accurate segmentation as desired by the annotator. We show that our approach speeds up the annotation process by a factor of 4.7 across all classes in Cityscapes, while achieving 78.4% agreement in IoU with original ground-truth, matching the typical agreement between human annotators. For cars, our speed-up factor is 7.3 for an agreement of 82.2%. We further show generalization capabilities of our approach to unseen datasets.

研究动机与目标

• 减少创建高质量物体实例分割数据集的时间和成本。
• 开发一种模仿人类基于多边形标注的方法，同时支持实时修正。
• 在人类干预极少的情况下，实现与人类标注者一致水平的标注准确度。
• 评估模型在未见数据集（如KITTI）上的泛化能力。

提出的方法

• 训练一个循环神经网络（Polygon-RNN），从裁剪图像中按顺序预测勾勒物体实例的多边形顶点。
• 模型以图像裁剪和边界框作为输入，逐个生成顶点序列。
• 标注者可实时修正任意预测的顶点，实现迭代优化以达到期望的准确度。
• 该方法利用多边形的结构一致性，生成合理且无孔洞的物体轮廓。
• 模型在Cityscapes上进行训练，并在Cityscapes和KITTI上进行评估，以衡量零样本泛化能力。
• 推理阶段采用固定步数（T），当T=4时，平均每实例仅需5.84次点击。

实验结果

研究问题

• RQ1 深度学习模型能否以多边形形式预测物体轮廓，从而显著减少标注时间？
• RQ2 Polygon-RNN的标注质量在IoU一致率方面与人类标注者相比如何？
• RQ3 在Cityscapes上训练的模型在如KITTI等不同数据集上的泛化能力如何？
• RQ4 对预测顶点进行交互式修正，是否能在用户输入极少的情况下提升分割准确度？

主要发现

• 在Cityscapes的所有类别中，Polygon-RNN将标注时间减少了4.74倍，当T=4时，平均每实例仅需5.84次点击。
• 在Cityscapes上，该方法与真实标注的IoU一致率达到78.4%，与典型人类标注者的一致性水平相当。
• 针对汽车类别，当T=4时，速度提升达7.3倍，IoU一致率达到82.2%。
• 在未见过的KITTI数据集上，模型平均仅需5.84次点击/实例，IoU达到84.11%，优于完全自动的基线方法。
• 模型在新数据集上表现出良好的泛化能力，展示了在物体外观和尺度发生域偏移时的鲁棒性。
• 即使不进行修正（T=0），模型仍能达到74.22%的IoU，显示出强大的基线性能。