[论文解读] Human Grasp Classification for Reactive Human-to-Robot Handovers

Wei Yang, Chris Paxton+2 more|arXiv (Cornell University)|Mar 12, 2020

Robot Manipulation and Learning参考文献 54被引用 5

一句话总结

该论文提出了一套反应式人机交接系统，通过在多样化抓握数据集上训练的深度学习模型，将人类抓握分类为预定义类别，使机器人能够根据检测到的抓握类型动态规划并执行物体交接。与基线方法相比，该系统实现了更流畅的交接，用户研究证实其在新手用户中提升了可用性和感知到的协作性。

ABSTRACT

Transfer of objects between humans and robots is a critical capability for collaborative robots. Although there has been a recent surge of interest in human-robot handovers, most prior research focus on robot-to-human handovers. Further, work on the equally critical human-to-robot handovers often assumes humans can place the object in the robot's gripper. In this paper, we propose an approach for human-to-robot handovers in which the robot meets the human halfway, by classifying the human's grasp of the object and quickly planning a trajectory accordingly to take the object from the human's hand according to their intent. To do this, we collect a human grasp dataset which covers typical ways of holding objects with various hand shapes and poses, and learn a deep model on this dataset to classify the hand grasps into one of these categories. We present a planning and execution approach that takes the object from the human hand according to the detected grasp and hand position, and replans as necessary when the handover is interrupted. Through a systematic evaluation, we demonstrate that our system results in more fluent handovers versus two baselines. We also present findings from a user study (N = 9) demonstrating the effectiveness and usability of our approach with naive users in different scenarios. More results and videos can be found at http://wyang.me/handovers.

研究动机与目标

• 实现流畅、反应式的从人到机器人的交接，使机器人能够实时适应人类的抓握方式。
• 解决在人机交接过程中，当手与物体相互遮挡时的可靠感知挑战。
• 减少对预设机器人抓握方式的依赖，通过数据学习抓握类型特定的运动规划。
• 通过自适应、响应式的机器人行为提升协作场景中的可用性和信任感。
• 在真实场景中对非专家用户进行评估，包括分心任务情境。

提出的方法

• 系统收集了涵盖多样化手部形态、物体类型和抓握姿态的人类抓握数据集，用于训练深度学习模型进行抓握分类。
• 采用鲁棒逻辑-动态系统（RLDS）生成运动规划，避免与人类手部接触，同时适应检测到的抓握类型。
• 机器人根据预测的抓握类别和实时手部位置规划其抓握轨迹，并在交接中断时具备重规划能力。
• 该方法使用现成的手部与物体位姿估计方法，但通过抓握分类层进行整合，以提升在遮挡情况下的鲁棒性。
• 运动规划采用RRT-connect方法，尽管系统承认部分轨迹可能不够直观或难以解释。
• 系统与两个基线进行对比：一个不使用抓握推理的基线，以及一个使用独立手部与物体位姿估计的基线。

Figure 1: Humans hand objects over in different ways. They can present the object on their palm or use a pinch grasp and present the object in different orientations. Our system can determine which grasp a human is using and adapt accordingly, enabling a reactive human-robot handover.

实验结果

研究问题

• RQ1 基于深度学习的抓握分类系统是否能提升人机交接的成功率与流畅度？
• RQ2 在遮挡或不确定性条件下，抓握分类如何增强机器人在反应式交接中的适应能力？
• RQ3 该系统在真实世界场景中对非专家用户是否显著提升了可用性和感知到的协作性？
• RQ4 当用户分心时，用户对能够根据其抓握类型自适应调整的机器人运动规划有何反应？
• RQ5 该系统在处理未见过或边缘情况抓握时存在哪些局限性？

主要发现

• 与两个基线相比，所提出的系统在交接任务中实现了更高的成功率和更优的时间效率，证明了其在反应式交接场景中的性能提升。
• 对N=9名新手参与者的用户研究表明，系统被感知为具有协作性、可信赖且能感知人类动作，尤其在用户接受过抓握类型培训后更为明显。
• 抓握分类系统在自由抓握条件下覆盖了77%的用户抓握，表明其对常见人类抓握风格具有较强的泛化能力。
• 未见过或异常的抓握导致更高的不确定性与偶尔失败，用户报告出现手指夹持或需重新定位的情况，凸显了处理罕见抓握类型的局限性。
• 用户报告称，机器人的运动有时不够清晰或直观，尤其当轨迹涉及复杂绕行或意外旋转时，表明需要更易理解的运动规划。
• 尽管抓握执行存在轻微不准确，系统整体仍保持鲁棒性，用户常可通过微调手部位置协助完成交接，表明人机协调有效。

Figure 2: An overview of our handover framework. The framework takes the point cloud centered around the hand detection, and then uses a model inspired by PointNet++ [ 53 ] to classify it as one of seven grasp types which cover various ways objects tend to be grasped by the human user. Out task mode