[論文レビュー] Toward safe separation distance monitoring from RGB-D sensors in human-robot interaction

Petr Švarný, Zdeněk Straka+1 more|arXiv (Cornell University)|Oct 11, 2018

Robotic Path Planning Algorithms参考文献 8被引用数 4

ひとこと要約

本論文では、RGB-Dセンサと人体ポーズ推定を用いて、人間とロボット間の安全な距離をリアルタイムで監視するフレームワークを提示する。人体とロボットの身体キーポイント間のペアワイズ距離を計算することで、固定されたゾーンを超えた動的でチューナブルな安全監視が可能となり、NaoロボットとRealSense、OpenPoseを用いた実証実験で有効性が示された。

ABSTRACT

The interaction of humans and robots in less constrained environments gains a lot of attention lately and the safety of such interaction is of utmost importance. Two ways of risk assessment are prescribed by recent safety standards: (i) power and force limiting and (ii) speed and separation monitoring. Unlike typical solutions in the industry that are restricted to mere safety zone monitoring, we present a framework that realizes separation distance monitoring between a robot and a human operator in a detailed, yet versatile, transparent, and tunable fashion. The separation distance is assessed pair-wise for all keypoints on the robot and the human body and as such can be selectively modified to account for specific conditions. The operation of this framework is illustrated on a Nao humanoid robot interacting with a human partner perceived by a RealSense RGB-D sensor and employing the OpenPose human skeleton estimation algorithm.

研究の動機と目的

• 構造的でない環境における安全な人間-ロボットインタラクション（HRI）の増大するニーズに対応する。
• 従来の安全ゾーン監視の限界を克服し、細分化された動的分離距離追跡を可能にする。
• リアルタイムで相互エージェント間の距離を評価する透明でカスタマイズ可能な方法を開発する。
• 人体ポーズ推定とロボットの運動学を統合し、正確なペアワイズ距離計算を可能にする。
• Naoロボットを用いた実世界のHRIシナリオにおいて、フレームワークの実現可能性と応答性を実証する。

提案手法

• 人間とロボットの認識に、深度とカラーのデータを取得するRealSense RGB-Dセンサを活用する。
• リアルタイムで2次元／3次元人体キーポイントを推定するOpenPoseアルゴリズムを採用する。
• ロボットの関節状態を前向き運動学を用いて3次元キーポイントにマッピングし、一貫性のある比較を可能にする。
• すべての人間とロボットの身体キーポイント間のペアワイズユークリッド距離を計算し、接近度を評価する。
• キーポイントペアごとに設定可能なしきい値を適用し、チューナブルな安全ポリシーを実現する。
• リアルタイム制御ループにフレームワークを統合し、接近度の変化に動的に反応できるようにする。

実験結果

リサーチクエスチョン

• RQ1 固定された安全ゾーンを超えた、細分化されリアルタイムな精度で人間とロボット間の分離距離をどのように監視できるか？
• RQ2 RGB-Dセンサと人体ポーズ推定は、HRIにおいて信頼性が高く低レイテンシの相互エージェント間距離追跡を可能にするか？
• RQ3 キーポイントレベルの距離評価を通じて、安全監視をどの程度透明かつカスタマイズ可能にすることができるか？
• RQ4 人間型ロボットと動的な人間の動きを伴う実世界のHRIシナリオにおいて、このシステムはどの程度の性能を示すか？
• RQ5 フレームワークは、解剖学的領域やタスク固有の制約に基づいた選択的で安全なポリシーをサポートできるか？

主な発見

• 本フレームワークは、RGB-Dデータとポーズ推定のみを用いて、人間とロボットの身体キーポイント間のリアルタイムでペアワイズの距離監視を可能にする。
• システムはキーポイントペアごとに設定可能な安全しきい値をサポートしており、異なる相互作用シナリオに応じたカスタマイズされた反応が可能である。
• 実世界のNaoロボットとのライブインタラクションで実証されたように、動的HRIに十分な時間的分解能と正確性を達成している。
• OpenPoseとロボットの運動学の統合により、正確な距離計算が可能な一貫性のある3次元キーポイントのアライメントが可能である。
• 固定された安全ゾーンとは異なり、透明でチューナブルな代替手段を提供し、構造的でない環境における適応性を高めている。
• 実装は実世界のHRI環境における実現可能性と応答性を示しており、将来的な安全を重視する応用を支援する。