[論文レビュー] Human Grasp Classification for Reactive Human-to-Robot Handovers

Wei Yang, Chris Paxton+2 more|arXiv (Cornell University)|Mar 12, 2020

Robot Manipulation and Learning参考文献 54被引用数 5

ひとこと要約

本稿では、多様なグリップデータセットで訓練されたディープラーニングモデルを用いて人間のグリップを事前に定義されたカテゴリに分類し、検出されたグリップタイプに応じてロボットが動的に物の受け渡しを計画・実行できる、反応型の人間からロボットへのグリップ受け渡しシステムを提案する。このシステムは、ベースラインと比較してよりなめらかな受け渡しを実現し、ユーザースタディーにより、初心者ユーザーにおいても使いやすさと協調性の認識が向上していることが確認された。

ABSTRACT

Transfer of objects between humans and robots is a critical capability for collaborative robots. Although there has been a recent surge of interest in human-robot handovers, most prior research focus on robot-to-human handovers. Further, work on the equally critical human-to-robot handovers often assumes humans can place the object in the robot's gripper. In this paper, we propose an approach for human-to-robot handovers in which the robot meets the human halfway, by classifying the human's grasp of the object and quickly planning a trajectory accordingly to take the object from the human's hand according to their intent. To do this, we collect a human grasp dataset which covers typical ways of holding objects with various hand shapes and poses, and learn a deep model on this dataset to classify the hand grasps into one of these categories. We present a planning and execution approach that takes the object from the human hand according to the detected grasp and hand position, and replans as necessary when the handover is interrupted. Through a systematic evaluation, we demonstrate that our system results in more fluent handovers versus two baselines. We also present findings from a user study (N = 9) demonstrating the effectiveness and usability of our approach with naive users in different scenarios. More results and videos can be found at http://wyang.me/handovers.

研究の動機と目的

• ロボットが人間のグリップにリアルタイムで適応できる、なめらかで反応型の人間からロボットへの受け渡しを実現すること。
• 特に手と物体が互いに遮蔽し合う状況下でも、信頼性の高い認識を実現する課題に取り組むこと。
• 事前に指定されたロボットグリップに依存するのを減らし、データからグリップタイプに特化した運動計画を学習すること。
• 適応的で反応性のあるロボット動作により、協働環境における使いやすさと信頼性を向上させること。
• 初心者ユーザーを対象とした現実世界のシナリオ、特に注意を散漫にしている状況を含めて、システムを評価すること。

提案手法

• 本システムは、多様な手の形、物体の種類、グリップポーズをカバーする人間のグリップデータセットを収集し、グリップ分類のためのディープラーニングモデルを訓練する。
• 接触を避けるために人間の手に適応する運動計画を生成するために、ロバスト論理的動的システム（RLDS）が用いられる。
• ロボットは予測されたグリップカテゴリとリアルタイムでの手の位置に基づいてグリップ軌道を計画し、受け渡しが中断された場合には再計画が可能である。
• 本手法は市販の手および物体のポーズ推定手法を用いるが、遮蔽下でも耐性を高めるためにグリップ分類レイヤーを統合している。
• 運動計画にはRRT-connectが用いられているが、システムは一部の軌道が直感的でなかったり、解釈が難しい場合があると認めている。
• 本システムは2つのベースラインと比較評価されている：グリップ推論なしのものと、独立した手および物体のポーズ推定を用いるもの。

Figure 1: Humans hand objects over in different ways. They can present the object on their palm or use a pinch grasp and present the object in different orientations. Our system can determine which grasp a human is using and adapt accordingly, enabling a reactive human-robot handover.

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングに基づくグリップ分類システムは、人間からロボットへの受け渡しの成功率となめらかさを向上させることができるか？
• RQ2 遮蔽や不確実性がある状況下で、グリップ分類は反応型受け渡しにおけるロボットの適応性をどのように向上させるか？
• RQ3 非専門家ユーザーを対象とした現実世界の環境において、本システムは使いやすさと協調性の認識をどの程度向上させるか？
• RQ4 ユーザーが注意を散漫にしている状況下でも、自分のグリップタイプに応じて適応するロボットの運動計画は、ユーザーにどのように受け入れられるか？
• RQ5 本システムは、未確認またはエッジケースのグリップを処理する上で、どのような限界を示しているか？

主な発見

• 提案されたシステムは、2つのベースラインと比較して、受け渡しタスクにおける成功確率が高く、時間効率も優れており、反応型受け渡しシナリオにおける性能向上が実証された。
• N=9の初心者参加者を対象としたユーザースタディーでは、システムが協調的で信頼できると認識され、特にグリップタイプの定義を学習した後は顕著であった。
• グリップ分類システムは、自由な状況下でユーザーの77％のグリップをカバーしており、一般的な人間のグリップスタイルへの汎用性が強いことが示された。
• 未確認または外れ値のグリップは、高い不確実性と時々の失敗を引き起こし、ユーザーは指を挟まれる感覚や再位置合わせを余儀なくされる場合があることから、珍しいグリップタイプの処理における限界が浮き彫りになった。
• ユーザーは、ロボットの運動がときとして不明瞭または直感的でない場合があると報告しており、特に複雑な迂回経路や予期しない回転を含む軌道では顕著であった。これは、より理解しやすい運動計画の必要性を示唆している。
• わずかなグリップ実行の不正確さにもかかわらず、システム全体としての耐性は高く、ユーザーはわずかな手の調整で支援できることが多く、効果的な人間-ロボット協調が実現していることが示された。

Figure 2: An overview of our handover framework. The framework takes the point cloud centered around the hand detection, and then uses a model inspired by PointNet++ [ 53 ] to classify it as one of seven grasp types which cover various ways objects tend to be grasped by the human user. Out task mode