[論文レビュー] Concepts for End-to-end Augmented Reality based Human-Robot Interaction Systems

David Puljiz, Björn Hein|arXiv (Cornell University)|Oct 10, 2019

Augmented Reality Applications参考文献 16被引用数 4

ひとこと要約

本論文は、ヘッドマウントディスプレイ（HMD）を用いたエンドツーエンドの拡張現実（AR）フレームワークを提示し、人間-ロボットインタラクションを実現する。このフレームワークにより、ロボットのセットアップ、プログラミング、インタラクション、模倣学習がシームレスに行える。HoloLensなどのHMDを活用し、空間マッピング、ハンドトラッキング、リアルタイム参照を実現することで、外部センサを必要とせず、ARとロボットの正確な一致を達成し、柔軟で協働的な産業用ロボットの実現に前進する。

ABSTRACT

The field of Augmented Reality (AR) based Human Robot Interaction (HRI) has progressed significantly since its inception more than two decades ago. With more advanced devices, particularly head-mounted displays (HMD), freely available programming environments and better connectivity, the possible application space expanded significantly. Here we present concepts and systems currently being developed at our lab to enable a truly end-to-end application of AR in HRI, from setting up the working environment of the robot, through programming and finally interaction with the programmed robot. Relevant papers by other authors will also be overviewed. We demonstrate the use of such technologies with systems not inherently designed to be collaborative, namely industrial manipulators. By trying to make such industrial systems easily-installable, collaborative and interactive, the vision of universal robot co-workers can be pushed one step closer to reality. The main goal of the paper is to provide a short overview of the capabilities of HMD-based HRI to researchers unfamiliar with the concepts. For researchers already using such techniques, the hope is to perhaps introduce some new ideas and to broaden the field of research.

研究の動機と目的

• 産業環境における柔軟で再構成可能かつ協働的なロボットワークセルを構築する課題に対処すること。
• 複雑なセットアップ、固定インfraストラクチャ、外部追跡システムを必要とする従来のロボットセルの限界を克服すること。
• HMDを主インターフェースとして用い、ARベースのプログラミングとインタラクションを直感的に行えるようにすること。
• ARをロボット制御スタック（ROS、MoveIt!）と統合し、リアルタイムで空間に配慮した人間-ロボット協働を支援すること。
• HMDセンサデータ（ハンドトラッキング、深度、モーショングレード）を活用して自然なデモンストレーションとスキル習得を可能にし、模倣学習を進展させること。

提案手法

• HoloLensを用いて自己位置特定、環境メッシュ生成、リアルタイムのハンドおよびジェスチャー追跡を実現し、自然なインタラクションを可能にする。
• マルチステージの参照パイプラインを実装：準自動（シードハロウグラム + ICP/Super4PCS）、自動（記述子ベースのマッチング）、継続的（ステレオビジョンベースのトラッキング）。
• rosbridgeを介してROSとROS#を統合し、HMDとロボット制御システム間の双方向通信を実現する。
• HMDのハンドトラッキングと手首に装着したIMUのセンサフュージョンを実装し、ドリフトを補償する高精度な人間のポーズ推定を維持する。
• HoloLensの深度およびRGBデータを活用して、物体の変形と接触力の推定を実現し、模倣学習のためのデータ収集を支援する。
• ARオーバーレイを用いた仮想軌道プログラミングを実装し、ユーザーが物理ワークスペース内で直接ウェイポイントとパスを定義できるようにする。

実験結果

リサーチクエスチョン

• RQ1 HMDベースのARシステムは、外部マーカーを一切使用せずに、仮想ロボットモデルと物理的産業用マニピュレータの間で、どのように堅牢でリアルタイムな参照を達成できるか？
• RQ2 HMDは人間-ロボット協働のための外部追跡システムをどの程度代替できるか。その解決策の精度と信頼性はどの程度か？
• RQ3 ARベースのインタラクションとプログラミングは、産業用ロボットの導入におけるセットアップ時間の短縮と直感性の向上を実現できるか？
• RQ4 HMDセンサデータは、ロボティクスマニピュレーションタスクにおける高精度な模倣学習をどのように支援できるか？
• RQ5 HMDベースのARにおける産業的HRIの主な障害モードと制限要因は何か。それらはどのように緩和できるか？

主な発見

• シードハロウグラムとICPまたはSuper4PCSを用いた準自動参照手法により、仮想ロボットと実物ロボットの間で正確な一致が達成され、視覚的および空間的整合性によって検証された。
• 記述子（OUR-CVFH、SHOT、またはカスタム）を用いた自動参照手法により、マーカーレスな初期化が可能であるが、ロボットの種別や環境によって性能にばらつきが生じる。
• HoloLensのステレオカメラからのステレオビジョンを用いた継続的自動参照により、HMDの移動中でも正確な一致が維持され、ユーザーによる再参照の必要性が低減される。
• HMDのハンドトラッキングと手首に装着したIMUのセンサフュージョンにより、ドリフト補償が施された安定した人間のポーズ推定が実現され、リアルタイムの衝突回避が可能になる。
• HMDベースのARにより、物理的ロボットワークセル内での直感的で現地でのロボットプログラミングと軌道定義が可能となり、ユーザビリティが顕著に向上した。
• HMDセンサデータ（深度、モーショングレードなど）は、模倣学習のためのデータ収集を支援し、実環境で人間のデモンストレーションからエンドツーエンドの学習が可能になる可能性を秘めている。