[論文レビュー] Towards Massive Interaction with Generalist Robotics: A Systematic Review of XR-enabled Remote Human-Robot Interaction Systems

Xian Wang, Luyao Shen+1 more|arXiv (Cornell University)|Mar 18, 2024

Robotics and Automated Systems被引用数 5

ひとこと要約

XR対応の遠隔HRIシステムに関する系統的PRISMAレビューで、XR技術、インタラクション設計、ロボットタイプ、タスク、評価手法、今後の方向性を要約する。

ABSTRACT

The rising interest of generalist robots seek to create robots with versatility to handle multiple tasks in a variety of environments, and human will interact with such robots through immersive interfaces. In the context of human-robot interaction (HRI), this survey provides an exhaustive review of the applications of extended reality (XR) technologies in the field of remote HRI. We developed a systematic search strategy based on the PRISMA methodology. From the initial 2,561 articles selected, 100 research papers that met our inclusion criteria were included. We categorized and summarized the domain in detail, delving into XR technologies, including augmented reality (AR), virtual reality (VR), and mixed reality (MR), and their applications in facilitating intuitive and effective remote control and interaction with robotic systems. The survey highlights existing articles on the application of XR technologies, user experience enhancement, and various interaction designs for XR in remote HRI, providing insights into current trends and future directions. We also identified potential gaps and opportunities for future research to improve remote HRI systems through XR technology to guide and inform future XR and robotics research.

研究の動機と目的

• XR技術（AR/VR/MR）が一般用途ロボティクスの遠隔制御を可能にする方法を評価する。
• XRベースの遠隔HRIにおけるインタラクションモダリティ、インタフェース設計、および視点を統合する。
• XR対応HRI文献で研究されるロボットタイプと遠隔タスクを分類する。
• 遠隔HRIシステムの評価方法を評価し、ギャップがどこに残っているかを明らかにする。
• XRベースの遠隔HRIを推進する研究課題を提案する。

提案手法

• XRベースの遠隔HRI研究を特定するためにPRISMA手法に従う。
• ACM DL、IEEE Xplore、ScienceDirectを含む2,588件の論文を検索し、Google ScholarおよびConnected Papersも併用する。
• スクリーニングを行い、データ抽出の対象として100件の記事を選定する。
• XR技術、インタラクションモダリティ、仮想インタフェース、ユーザー視点、ロボットタイプ、タスク、評価、遅延、多人数プレイ対応、強化機能を網羅するデータ抽出ルーブリックを作成・適用する。
• 最新版を取り入れるため、2段階のデータ抽出（2022年5月と2023年12月）を実施する。

実験結果

リサーチクエスチョン

• RQ1 リモートHRIに使用されるXR技術（VR/AR/MR）は何で、どの文脈で用いられているか？
• RQ2 リモートロボット制御に最も効果的なインタラクションモダリティと仮想インタフェースは何か？
• RQ3 XR対応HRI研究で調査されるロボットタイプと遠隔タスクは何で、どのように分布しているか？
• RQ4 XRベースの遠隔HRIシステムはどのように評価され、遅延やパフォーマンス指標は報告されているか？
• RQ5 XRベースの遠隔HRI研究から浮かび上がるギャップと今後の方向性は何か？

主な発見

• VR HMDがXRの利用を支配しており（67%）、次いでAR HMDが19%、MRが5%、CAVEが2%、モバイルARが1%である。
• ほとんどの研究は内蔵コントローラまたはジェスチャーを用いたインタラクションを使用する；ジョイスティックおよびハプティックデバイスは一部で用いられ、27%がコントローラを、20%がジェスチャーメソッドを使用。
• ロボットアームが最も研究対象のロボットタイプ（41%）で、ナビゲーション、掴む/拾う/配置、産業タスクが主要な活動として上位（26%、18%、18%）を占める。
• 論文の38%は評価を含まなかった; 含んだものの中で69%が定量的手法（所要時間/正確さ、NASA-TLXなど）を用い、36%が単一手法またはハイブリッドアプローチを用いた。
• ロボティクス/製造分野にXR対応の遠隔HRI研究が顕著に集中しており、2023年に刊行のピークがある。
• 文献はXRベースの遠隔HRIインタフェースの分類学を提示しており、ユーザ視点（ロボット連携、ロボット非連携、俯瞰、動的）とインタフェースタイプ（直接、デジタルツイン、仮想制御室、ハイブリッド型）を含む。