[論文レビュー] Virtual, Augmented, and Mixed Reality for Human-Robot Interaction: A Survey and Virtual Design Element Taxonomy

Michael Walker, Thao Phung+3 more|arXiv (Cornell University)|Feb 23, 2022

Virtual Reality Applications and Impacts被引用数 9

ひとこと要約

本稿は、人間-ロボットインタラクション（HRI）におけるバーチャル・オーグメンテッド・ミックスドリアリティ（VAM）の設計要素について包括的な分類を提示し、タスク、環境、物体、バーチャルロボット変更の4つのコアタイプに分類する。このフレームワークにより、VAM-HRIシステムの明確な記述と比較が可能となり、特殊効果変更といった未開拓分野の特定が可能となり、今後の研究およびロボットインターフェース設計の基盤的ツールとして機能する。

ABSTRACT

Virtual, Augmented, and Mixed Reality for Human-Robot Interaction (VAM-HRI) has been gaining considerable attention in research in recent years. However, the HRI community lacks a set of shared terminology and framework for characterizing aspects of mixed reality interfaces, presenting serious problems for future research. Therefore, it is important to have a common set of terms and concepts that can be used to precisely describe and organize the diverse array of work being done within the field. In this paper, we present a novel taxonomic framework for different types of VAM-HRI interfaces, composed of four main categories of virtual design elements (VDEs). We present and justify our taxonomy and explain how its elements have been developed over the last 30 years as well as the current directions VAM-HRI is headed in the coming decade.

研究の動機と目的

• VAM-HRI研究における共通語彙や概念的フレームワークの欠如が進展と再現可能性を阻害しているのを是正する。
• VAM-HRIシステムにおける重要なインターフェース要素を捉える、4カテゴリーの体系的で包括的な仮想設計要素（VDE）分類を開発する。
• 特に特殊効果変更に代表される、未だ十分に検討されていないVDEカテゴリーを特定し、今後の研究の有望な方向性を示す。
• 研究者や設計者が既存のVAM-HRIシステムを比較・記述・発展させるための構造的基盤を提供する。
• 明確なコミュニケーションと概念的整合性を可能にすることで、VAM-HRIを主流の研究分野へと成熟させる支援を行う。

提案手法

• 本分類は、30年以上にわたるHRIおよびVAM研究を統合し、100通を超えるVAM-HRI論文を分析して、繰り返し現れる設計要素を同定することで構築された。
• VDEの4大カテゴリーを定義する：タスク理解（例：ウェイポイント、軌道）、環境理解（例：3次元シーン理解）、物体理解（例：3次元オブジェクトモデル）、バーチャルロボット変更（例：ロボットの状態や意図の可視化）。
• 各VDEカテゴリー内に階層的なサブクラスを含み、たとえばタスク理解には「グリップポイント」、環境理解には「LiDAR点群」が含まれる。
• 実世界のVAM-HRIアプリケーション、例えば水中ロボットの遠隔操作や産業用ロボットの操作に関する分析を通じて、フレームワークの妥当性を検証した。
• 設計者が特定のインタラクション目標（空間認識の向上やタスクの明確化など）に基づいてVDEを選択できるように、実用的価値を重視した。
• 技術の進展や新たなユースケースに伴い、新たなVDEタイプが出現する可能性を認識し、フレームワークは進化を続けるものとして設計された。

実験結果

リサーチクエスチョン

• RQ1 VAM-HRIシステムに頻出するコアで繰り返される設計要素とは何か。それらはどのように体系的に分類できるか？
• RQ2 過去30年間でVAM-HRIインターフェース設計はどのように進化したか。アプリケーションやVDE使用におけるトレンドは何か？
• RQ3 現在の文献において未だ未開拓または欠落しているVDEカテゴリーは何か。それらが示す機会は何か？
• RQ4 標準化されたVDE分類が、VAM-HRI研究におけるコミュニケーション、比較、イノベーションの向上にどの程度寄与するか？
• RQ5 この分類が、特定のHRI課題に適したVDEの選定を支援する実用的設計ガイドとして、開発者や研究者にどのように役立つか？

主な発見

• VAM-HRI研究の大部分は、ナビゲーションや操作といった一般用途のロボット機能改善に注目しており、分野特有の応用にはあまり焦点を当てていない。
• ウェイポイント、軌道、タスク指示などのタスク理解VDEは、VAM-HRIシステムで最も広く使用され、研究対象となっているカテゴリーである。
• 3次元シーンの可視化やセンサデータのオーバーレイを含む環境理解VDEは、近年の研究で注目度が高まっている。
• 物体理解およびバーチャルロボット変更VDEは比較的新しく、それぞれ2004年と2006年に初めて登場し、依然として未開拓の分野である。
• 特殊効果変更VDE、たとえばパーティクルシステムや動的ライティングといった視覚効果でロボットの意図を伝えるもの—は、科学的文献ではまだ使用されていない、顕著な研究ギャップが存在する。
• 本分類は、かつて見過ごされていた設計の機会を特定し、今後のVAM-HRI研究およびシステム開発の構造的基盤を提供した。