[论文解读] Fully Convolutional Grasp Detection Network with Oriented Anchor Box

Xinwen Zhou, Xuguang Lan+4 more|arXiv (Cornell University)|Mar 6, 2018

Robot Manipulation and Learning被引用 22

一句话总结

本文提出一种使用定向锚框的全卷积神经网络，用于在RGB图像中实现实时、多抓取检测。通过采用端到端架构与新颖的匹配策略及定向锚框，该模型在Cornell抓取数据集的图像级划分上达到97.74%的准确率，在物体级划分上达到96.61%，分别优于先前最先进方法1.74%和0.51%。

ABSTRACT

In this paper, we present a real-time approach to predict multiple grasping poses for a parallel-plate robotic gripper using RGB images. A model with oriented anchor box mechanism is proposed and a new matching strategy is used during the training process. An end-to-end fully convolutional neural network is employed in our work. The network consists of two parts: the feature extractor and multi-grasp predictor. The feature extractor is a deep convolutional neural network. The multi-grasp predictor regresses grasp rectangles from predefined oriented rectangles, called oriented anchor boxes, and classifies the rectangles into graspable and ungraspable. On the standard Cornell Grasp Dataset, our model achieves an accuracy of 97.74% and 96.61% on image-wise split and object-wise split respectively, and outperforms the latest state-of-the-art approach by 1.74% on image-wise split and 0.51% on object-wise split.

研究动机与目标

• 通过RGB图像实现实时、准确的并行颚式机械手多抓取姿态预测。
• 通过引入能更好捕捉抓取矩形几何多样性的定向锚框，解决现有基于锚框方法的局限性。
• 通过为定向抓取提议量身定制的新颖训练匹配策略，提升泛化能力和检测准确率。
• 开发一种端到端的全卷积架构，高效回归抓取参数并分类抓取可行性。
• 在标准基准（如Cornell抓取数据集）上超越现有最先进方法。

提出的方法

• 采用全卷积神经网络，由深度特征提取器和多抓取预测器组成。
• 使用定向锚框——预定义的定向矩形——作为抓取预测的参考区域，实现对旋转抓取姿态的更好定位。
• 提出一种新的训练匹配策略，将真实标注抓取分配给最合适的定向锚框，提升学习效率。
• 多抓取预测器在一次前向传播中同时执行分类（可抓取 vs. 不可抓取）和回归（边界框坐标与方向）。
• 使用组合损失函数端到端训练网络，同时优化分类头与回归头。
• 模型利用主干CNN的特征图，在多个空间尺度上预测抓取候选，实现在图像上的密集预测。

实验结果

研究问题

• RQ1 与标准轴对齐锚框方法相比，使用定向锚框的全卷积网络是否能提升抓取检测准确率？
• RQ2 训练过程中提出的匹配策略如何影响抓取预测的定位与分类性能？
• RQ3 使用定向锚框在多大程度上增强了模型在RGB图像中检测旋转抓取姿态的能力？
• RQ4 端到端的全卷积设计是否能在保持基准数据集高准确率的同时实现实时推理？
• RQ5 在准确率与不同评估划分下的鲁棒性方面，该方法与最先进抓取检测方法相比表现如何？

主要发现

• 所提模型在Cornell抓取数据集的图像级划分上达到97.74%的准确率，较之前最先进方法高出1.74个百分点。
• 在物体级划分上，模型达到96.61%的准确率，较最新SOTA方法提升0.51%。
• 与轴对齐基线相比，使用定向锚框显著提升了对旋转抓取姿态的定位准确率。
• 训练过程中新颖的匹配策略增强了模型将真实标注抓取分配给合适锚框的能力，从而实现更快收敛与更优性能。
• 端到端全卷积设计实现了高效且鲁棒的实时推理，适用于多种物体类别。
• 该模型在不同测试划分中表现出强大的泛化能力，表明其在未见物体和图像上具有可靠的性能。