[논문 리뷰] Human Grasp Classification for Reactive Human-to-Robot Handovers

Wei Yang, Chris Paxton외 2명|arXiv (Cornell University)|2020. 03. 12.

Robot Manipulation and Learning참고 문헌 54인용 수 5

한 줄 요약

이 논문은 다양한 손잡이 데이터셋으로 훈련된 딥러닝 모델을 사용해 인간의 손잡이를 사전 정의된 카테고리로 분류함으로써, 감지된 손잡이 유형에 따라 로봇이 동적으로 손잡이 계획과 실행을 수행할 수 있도록 반응형 인간-로봇 손건네기 시스템을 제안한다. 이 시스템은 기준 모델 대비 더 유연한 손건네기를 달성했으며, 사용자 연구를 통해 초보자 사용자들 사이에서 향상된 사용성과 인지된 협업 수준을 확인했다.

ABSTRACT

Transfer of objects between humans and robots is a critical capability for collaborative robots. Although there has been a recent surge of interest in human-robot handovers, most prior research focus on robot-to-human handovers. Further, work on the equally critical human-to-robot handovers often assumes humans can place the object in the robot's gripper. In this paper, we propose an approach for human-to-robot handovers in which the robot meets the human halfway, by classifying the human's grasp of the object and quickly planning a trajectory accordingly to take the object from the human's hand according to their intent. To do this, we collect a human grasp dataset which covers typical ways of holding objects with various hand shapes and poses, and learn a deep model on this dataset to classify the hand grasps into one of these categories. We present a planning and execution approach that takes the object from the human hand according to the detected grasp and hand position, and replans as necessary when the handover is interrupted. Through a systematic evaluation, we demonstrate that our system results in more fluent handovers versus two baselines. We also present findings from a user study (N = 9) demonstrating the effectiveness and usability of our approach with naive users in different scenarios. More results and videos can be found at http://wyang.me/handovers.

연구 동기 및 목표

• 로봇이 인간의 손잡이를 실시간으로 적응함으로써 부드럽고 반응적인 인간-로봇 손건네기를 가능하게 한다.
• 특히 손과 물체가 상호 간섭하거나 가림을 입을 때도 신뢰할 수 있는 인식을 확보하는 데 도전한다.
• 사전 정의된 로봇 손잡이에 의존하는 것을 줄이고, 데이터 기반으로 손잡이 유형에 특화된 운동 계획을 학습한다.
• 적응형이고 반응적인 로봇 행동을 통해 협업 환경에서의 사용성과 신뢰도를 향상시킨다.
• 초보자 사용자들과 함께 실제 환경에서의 시나리오, 특히 주의산산이 흩어진 작업 상황에서도 시스템을 평가한다.

제안 방법

• 딥러닝 모델을 훈련하기 위해 다양한 손 모양, 물체 유형, 손잡이 자세를 포함한 인간 손잡이 데이터셋을 수집한다.
• 감지된 손잡이 유형에 따라 적응하면서 인간 손과의 접촉을 피하는 운동 계획을 생성하기 위해 강력한 논리-역동계통(RLDS)을 사용한다.
• 로봇은 예측된 손잡이 유형과 실시간 손 위치를 바탕으로 자신의 손잡이 경로를 계획하며, 손건네기가 중단될 경우 재계획 기능을 갖춘다.
• 시스템은 표준 손 및 물체 자세 추정 방법을 사용하지만, 이를 손잡이 유형 분류 레이어를 통해 통합함으로써 가림 상황에서도 강건성을 향상시킨다.
• 운동 계획은 RRT-connect를 사용하지만, 일부 경로가 직관적이지 않거나 해석하기 어려운 경우가 있음을 인정한다.
• 시스템은 두 가지 기준 모델과 비교 평가된다: 손잡이 추론 없이 작동하는 모델과 독립적인 손 및 물체 자세 추정을 사용하는 모델.

Figure 1: Humans hand objects over in different ways. They can present the object on their palm or use a pinch grasp and present the object in different orientations. Our system can determine which grasp a human is using and adapt accordingly, enabling a reactive human-robot handover.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 손잡이 유형 분류 시스템은 인간-로봇 손건네기의 성공률과 유연성 향상에 기여하는가?
• RQ2 가림이나 불확실성 상황에서 손잡이 유형 분류가 반응형 손건네기 중 로봇의 적응 능력을 어떻게 향상시키는가?
• RQ3 비전문가 사용자들이 참여하는 실제 환경에서 이 시스템은 사용성과 인지된 협업 수준을 어느 정도 향상시키는가?
• RQ4 사용자가 주의산산이 흩어진 상태에서 로봇의 운동 계획이 자신의 손잡이 유형에 따라 적응하는 데 어떻게 반응하는가?
• RQ5 이상치 또는 예측 불가능한 손잡이 유형을 처리하는 데 시스템의 한계는 무엇인가?

주요 결과

• 제안된 시스템은 두 기준 모델 대비 더 높은 성공률과 시간 효율성을 달성하여 반응형 손건네기 상황에서 성능 향상을 입증했다.
• N=9명의 초보자 참가자들을 대상으로 한 사용자 연구에서, 시스템은 협업 가능성이 있으며 신뢰할 수 있고 인간 행동을 인지한다는 평가를 받았으며, 특히 정의된 손잡이 유형에 대해 교육을 받은 후 이러한 평가가 더욱 뚜렷했다.
• 손잡이 유형 분류 시스템은 자유형 조건에서 사용자 손잡이의 77%를 커버하여 일반적인 인간 손잡이 스타일에 대해 뛰어난 일반화 능력을 보였다.
• 예측 불가능하거나 이질적인 손잡이 유형은 높은 불확실성과 가끔 실패를 유도했으며, 사용자들은 손가락 압박이나 재정렬이 필요하다고 보고하여 희귀 손잡이 유형 처리의 한계를 드러냈다.
• 사용자들은 로봇의 운동 경로가 종종 명확하거나 직관적이지 않다고 보고했으며, 특히 복잡한 우회나 예측 불가능한 회전이 포함된 경우가 많았다. 이는 더 명확한 운동 계획이 필요함을 시사한다.
• 소규모 손잡이 실행 오류가 있었음에도 불구하고 시스템은 전반적으로 강건했으며, 사용자들이 약간의 손 위치 조정으로 보조할 수 있었기 때문에 효과적인 인간-로봇 협업이 이루어졌다는 점을 시사한다.

Figure 2: An overview of our handover framework. The framework takes the point cloud centered around the hand detection, and then uses a model inspired by PointNet++ [ 53 ] to classify it as one of seven grasp types which cover various ways objects tend to be grasped by the human user. Out task mode