[論文レビュー] Gesture Recognition for Initiating Human-to-Robot Handovers

Jun Kwan, Chinkye Tan+1 more|arXiv (Cornell University)|Jul 20, 2020

Hand Gesture Recognition Systems参考文献 16被引用数 8

ひとこと要約

本稿では、1枚のRGB画像から人間がロボットに物を渡す意思を検出するためのモジュラーでオブジェクト中心の深層学習アプローチを提案する。3つのニューラルネットワーク（オブジェクト検出器、人体キーポoin推定器、頭部ポーズ予測器）を用い、その後にバイナリ分類のためのマルチレイヤーパーセプトロンを適用する。身体キーポイントをオブジェクトに対して相対的に表現することで、90.6%の精度を達成し、エンドツーエンドおよびスケルトンベースのベースラインを上回る性能を発揮した。

ABSTRACT

Human-to-Robot handovers are useful for many Human-Robot Interaction scenarios. It is important to recognize when a human intends to initiate handovers, so that the robot does not try to take objects from humans when a handover is not intended. We pose the handover gesture recognition as a binary classification problem in a single RGB image. Three separate neural network modules for detecting the object, human body key points and head orientation, are implemented to extract relevant features from the RGB images, and then the feature vectors are passed into a deep neural net to perform binary classification. Our results show that the handover gestures are correctly identified with an accuracy of over 90%. The abstraction of the features makes our approach modular and generalizable to different objects and human body types.

研究の動機と目的

• 人間がロボットに物を渡す意思を持っているかどうかを検出することにより、不適切なグリップを回避する課題に対処すること。
• 単一のRGB画像からの視覚的情報のみを用いて、手渡しの意思を信頼性高く同定する認識システムを開発すること。
• オブジェクトの種類、人間の外見、画像内での空間的位置に依存しない、モジュラーで汎用性の高いフレームワークを構築すること。
• 手渡しの意図と偶然の物体接近を区別することで、人間-ロボットインタラクションの安全性と信頼性を向上させること。

提案手法

• オブジェクト検出にはFaster R-CNNを用い、人間が保持するオブジェクトのバウンディングボックス座標を出力する。
• 人体キーポイントの検出にはKeypoint R-CNNを採用し、キーポイントの座標をオブジェクトのバウンディングボックスに対して正規化してオブジェクト中心の表現を実現する。
• マルチロスを備えたResNet50モデルを用いて、カメラフレームに対する頭部の姿勢（ヨー、ピッチ、ロール）をオイラー角で推定する。
• 3つのモジュールの特徴を連結し、26次元の特徴ベクトルを生成する。欠損検出の場合はダミー値（-999）を設定する。
• バイナリクロスエントロピー損失を用いたマルチレイヤーパーセプトロン（MLP）により、特徴ベクトルをバイナリ出力（手渡し／それ以外）に分類する。
• 相対的キーポイント座標を用いることで耐性を高めるために、カスタムデータセットを用い、5回のランダムなトレイン/テスト分割で学習を実施した。

実験結果

リサーチクエスチョン

• RQ1 1枚のRGB画像を用いて、人間がロボットに物を渡す意思を持っているかどうかを信頼性高く検出できるか？
• RQ2 人体キーポイントのオブジェクト中心表現が、人間の位置やオブジェクトの種類の変化に伴う検出の耐性をどのように向上させるか？
• RQ3 エンドツーエンドまたはスケルトン画像ベースのアプローチと比較して、モジュラー特徴抽出のパフォーマンス向上はどの程度か？
• RQ4 絶対座標と相対座標の特徴表現（キーポイント座標）が分類精度にどのように影響するか？

主な発見

• 提案手法は、キーポイントをオブジェクトに対して相対的に表現した場合に90.6%の精度を達成し、すべてのベースラインを上回った。
• エンドツーエンドのResNet50ベースラインは89.4%の精度を示し、生のRGB入力でのタスクの難易度を示している。
• CNN-on-skeleton-imageベースラインは83.3%の精度を達成し、手作業で作成したスケルトン表現の有効性が限定的であることを示している。
• 絶対ピクセル座標に基づくキーポイント表現は90.1%の精度を達成し、相対表現がわずかだが一貫した改善効果を示している。
• オブジェクト中心の設計により、人間が画像の隅に立っている場合や、何も持っていない場合でも、手渡しジェスチャーを正しく同定できる。
• 失敗事例が観察されたが、主にデータセットサイズの制限と考慮されていないシナリオに起因しており、より大規模で多様なデータを用いることでさらなる改善が期待できる。