[论文解读] Associating Grasping with Convolutional Neural Network Features.

Li Yang Ku, Erik Learned-Miller+1 more|arXiv (Cornell University)|Sep 13, 2016

Robot Manipulation and Learning参考文献 22被引用 3

一句话总结

该论文提出一种基于CNN的方法，通过利用预训练特征和定向反向传播，将视觉输入映射到机器人手部的预抓取姿态，以定位可操作物体的结构。通过识别CNN各层中分层特征的3D位置，该方法能够在杂乱场景中实现有效的预抓取姿态，并在Robonaut-2上优于基于点云的方法。

ABSTRACT

In this work, we provide a solution for pre-shaping a human-like robot hand for grasping based on visual information. Our approach uses convolutional neural networks (CNNs) to define a mapping between images and grasps. Applying CNNs to robotics applications is non-trivial for two reasons. First, collecting enough robot data to train a CNN at the same scale as the models trained in the vision community is extremely difficult. In this work, we demonstrate that by using a pre-trained CNN, a small set of grasping examples is sufficient for generalizing across different objects of similar shapes. Second, the final output of a CNN contains little location information of the observed object, which is essential for the robot to manipulate the object. We take advantage of the hierarchical nature of CNN layers and identify the 3D positions of features that capture the hierarchical support relations between filters in different CNN layers using an approach we call targeted backpropagation. Targeted backpropagation traces the activation of higher level features in a CNN backwards through the network to discover the locations in the observation that were responsible for making them fire, thus localizing important structures that are manipulable in the environment. We show that this approach outperforms approaches without targeted backpropagation in a cluttered scene. We further implement a hierarchical controller that controls fingers and palms based on features located in different layers of the CNN for pre-shaping the robot hand and demonstrate that this approach outperforms a point cloud based approach on a grasping task on Robonaut-2.

研究动机与目标

• 解决在有限真实世界训练数据下，机器人抓取在不同物体形状间的泛化挑战。
• 克服标准CNN输出缺乏空间定位的问题，该问题阻碍了精确的机器人操作。
• 通过具有空间定位能力的分层CNN特征，实现对类人人形机器人手的有效预抓取姿态配置。
• 与基线方法相比，展示在杂乱环境中提升的抓取性能。

提出的方法

• 利用预训练的卷积神经网络（CNN）从图像中提取视觉特征，无需大规模机器人专用数据集。
• 应用定向反向传播，将高层CNN特征的激活反向追踪至输入图像中的空间位置，以识别关键可操作结构。
• 识别多个CNN层中特征检测器的3D位置，以捕捉滤波器之间的分层支持关系。
• 构建一个分层控制器，将不同CNN层的特征映射到机器人手部的各个手指和手掌。
• 利用定位后的特征图在接触前引导机器人手的预抓取姿态，确保与物体几何形状对齐。
• 采用多尺度特征表示，以提升在物体边界模糊的杂乱场景中的鲁棒性。

实验结果

研究问题

• RQ1 当使用预训练CNN时，少量抓取示范是否能泛化到相似物体形状？
• RQ2 如何实现CNN特征的空间定位，以支持精确的机器人操作？
• RQ3 与标准CNN特征图相比，定向反向传播是否能提升在杂乱环境中的抓取成功率？
• RQ4 基于多层CNN特征的分层控制是否能优于基于点云的方法在预抓取姿态上的表现？
• RQ5 分层特征定位的集成如何提升在类似Robonaut-2的人形机器人上的抓取性能？

主要发现

• 该方法仅通过少量抓取示范即实现了有效的预抓取姿态，展示了在相似物体形状间的泛化能力。
• 定向反向传播成功定位了图像中相关物体结构，实现了精确的手部姿态配置。
• 由于对抓取相关特征的空间感知能力增强，该方法在杂乱场景中优于标准CNN特征图。
• 基于多层CNN特征的分层控制器在Robonaut-2上的抓取成功率高于基于点云的基线方法。
• 结合预训练CNN与定向反向传播的方法，显著减少了对大规模机器人训练数据的需求，同时保持了高性能。