[论文解读] Learning to Place Objects onto Flat Surfaces in Human-Preferred Orientations.

R. Newbury, Kerry He+2 more|arXiv (Cornell University)|Apr 1, 2020

Robot Manipulation and Learning参考文献 22被引用 3

一句话总结

本文提出一种两阶段深度学习方法，结合放置旋转卷积神经网络（PR-CNN）与放置稳定性卷积神经网络（PS-CNN），使机器人能够将抓取的物体以人类偏好的朝向放置于平坦表面，例如将杯子 upright 放置。该方法通过迭代预测和评估物体旋转，实现在18种日常物体上的模拟环境中86.1%的成功率，并通过真实世界的概念验证展示了从仿真到现实的迁移能力。

ABSTRACT

We study the problem of placing a grasped object on an empty flat surface in a human-preferred orientation, such as placing a cup on its bottom rather than on its side. We aim to find the required object rotation such that when the gripper is opened after the object makes a contact with the surface, the object would be stably placed in the desired orientation. We use two neural networks in an iterative fashion. At every iteration, Placement Rotation CNN (PR-CNN) estimates the required object rotation which is executed by the robot, and then Placement Stability CNN (PS-CNN) estimates if the object would be stable if it is placed in its current orientation. In simulation experiments, our approach places objects in human-preferred orientations with a success rate of 86.1% using a dataset of 18 everyday objects. A real-world implementation is presented, which serves as a proof-of-concept for direct sim-to-real transfer. We observe that sometimes it is impossible to place a grasped object in a desired orientation without re-grasping, which motivates future research for grasping with intention to place objects.

研究动机与目标

• 使机器人能够将抓取的物体放置于平坦表面，并以人类偏好的朝向放置，例如将杯子以杯底朝下放置而非侧放。
• 解决在释放夹爪后确保物体稳定放置所需正确物体旋转的挑战。
• 开发一种方法，通过直接从当前抓取状态预测最优放置朝向，避免重新抓取。
• 实现直接从仿真到现实的迁移，以支持真实世界中部署放置策略。

提出的方法

• 系统采用迭代过程，其中PR-CNN预测实现放置所需的物体旋转。
• 旋转后，PS-CNN评估若以当前朝向放置物体，其是否稳定。
• PR-CNN与PS-CNN均在包含18种不同形状和抓取姿态的日常物体的仿真数据集上进行训练。
• 策略首先在仿真环境中执行，然后直接迁移到真实机器人上，无需微调。
• 该方法在旋转预测与稳定性评估之间交替进行，直至找到稳定且符合人类偏好的朝向。
• 该方法利用端到端深度学习，将当前机器人状态直接映射到最优放置动作，无需显式几何推理。

实验结果

研究问题

• RQ1 深度学习模型能否在不重新抓取的情况下，预测出实现人类偏好的放置朝向所需的正确物体旋转？
• RQ2 两阶段迭代方法（旋转预测 + 稳定性预测）在实现稳定且符合偏好的物体放置方面效果如何？
• RQ3 在仿真环境中训练的策略在多大程度上可成功迁移到真实世界机器人操作中？
• RQ4 从单次抓取实现物体在期望朝向放置存在哪些局限性？在何种情况下必须重新抓取？

主要发现

• 所提出的方法在18种日常物体上，于模拟环境中实现了86.1%的成功率，将物体放置于人类偏好的朝向。
• 真实世界实现成功展示了直接从仿真到现实的迁移，验证了该方法的鲁棒性。
• 系统识别出在不重新抓取的情况下，某些物体无法以期望朝向稳定放置，凸显了意图感知抓取的必要性。
• 通过迭代使用PR-CNN与PS-CNN，实现了无需显式建模物体与表面相互作用的稳定放置决策。
• 结果表明，人类偏好的朝向并不总能从单次抓取实现，这为未来基于放置意图的抓取研究提供了动力。
• 双卷积神经网络框架有效平衡了旋转预测与稳定性评估，使复杂场景下能够做出可靠的放置决策。