[论文解读] Classification based Grasp Detection using Spatial Transformer Network

Dongwon Park, Se Young Chun|arXiv (Cornell University)|Mar 4, 2018

Robot Manipulation and Learning参考文献 17被引用 32

一句话总结

该论文提出了一种基于分类的新型机器人抓取检测方法，采用多阶段空间变换网络（STN）实现最先进精度与实时性能。通过用分层空间变换替代暴力滑动窗口，该方法可观察中间抓取候选（位置、方向、尺度），提升了可解释性与训练效率，且无需ImageNet预训练。

ABSTRACT

Robotic grasp detection task is still challenging, particularly for novel objects. With the recent advance of deep learning, there have been several works on detecting robotic grasp using neural networks. Typically, regression based grasp detection methods have outperformed classification based detection methods in computation complexity with excellent accuracy. However, classification based robotic grasp detection still seems to have merits such as intermediate step observability and straightforward back propagation routine for end-to-end training. In this work, we propose a novel classification based robotic grasp detection method with multiple-stage spatial transformer networks (STN). Our proposed method was able to achieve state-of-the-art performance in accuracy with real- time computation. Additionally, unlike other regression based grasp detection methods, our proposed method allows partial observation for intermediate results such as grasp location and orientation for a number of grasp configuration candidates.

研究动机与目标

• 解决使用深度学习对新物体进行机器人抓取检测的挑战。
• 通过实现中间抓取候选的部分可观测性，克服基于回归的黑箱方法的局限性。
• 在无需大规模数据集（如ImageNet）预训练的情况下，实现高精度与实时推理。
• 为基于回归的抓取检测提供一种更具可解释性与可训练性的替代方案，并支持端到端训练。

提出的方法

• 该方法采用多阶段空间变换网络（STN），逐步优化候选抓取位置、方向与尺度。
• 每个STN阶段通过空间变换聚焦于有希望的抓取区域，替代计算成本较高的滑动窗口方法。
• 最终阶段使用深度残差网络（ResNet-32），输入为7通道（RGB、深度、法向量），用于抓取可执行性分类。
• 通过在每个候选的抓取可执行性分数上使用交叉熵损失，实现端到端训练。
• 该架构允许观察中间输出，从而在训练与推理过程中分析抓取候选的质量。
• 该方法仅使用单张GPU（GTX 1080 Ti），即可实时处理高分辨率图像。

实验结果

研究问题

• RQ1 基于分类的抓取检测方法是否能在保持实时推理速度的同时实现最先进精度？
• RQ2 多阶段STN是否能有效替代抓取检测中的暴力滑动窗口，从而提升效率与可解释性？
• RQ3 所提出的方法是否能实现可观测的中间抓取候选，从而增强模型调试与训练？
• RQ4 该方法是否能在不依赖ImageNet等大规模数据集预训练的情况下实现高性能，尤其是在多模态输入下？

主要发现

• 所提方法在基准数据集上达到89.60%的准确率，优于所有其他方法，包括基于回归的方法。
• 每张图像处理时间为23.0毫秒，在单张GPU上实现了实时性能。
• 该方法显著优于基于分类的SAE与CNN基线模型（准确率分别为76.00%与82.53%）。
• 基于回归的方法准确率为70.67%，处理速度更快（11.3 ms/图像），但精度低于所提方法。
• 多阶段STN设计实现了抓取候选的部分可观测性，有助于模型分析与训练。
• 该方法在无需ImageNet预训练的情况下实现高性能，适用于多模态机器人感知任务。