[論文レビュー] Exploring Human-robot Interaction by Simulating Robots

Khaled Kassem, Florian Michahelles|arXiv (Cornell University)|Jan 1, 2022

Virtual Reality Applications and Impacts被引用数 1

ひとこと要約

本論文では、バーチャルリアリティ（VR）および拡張現実（AR）環境におけるシミュレーテッドロボットの利用を提案し、人的・経済的コストが低く、柔軟性に富んだ人間-ロボットインタラクション（HRI）の評価を実現する。Unity3DとROS、および一般消費者向けのミックスドリアリティヘッドセットを統合することで、研究者は制御されたバーチャル環境においてロボットの挙動、制御、ユーザーとのインタラクションをシミュレート可能となり、実世界の研究と同等の結果を得つつ、時間、コスト、運用上の障壁を低減できる。

ABSTRACT

As collaborative robots enter industrial shop floors, logistics, and manufacturing, rapid and flexible evaluation of human-machine interaction has become more important. The availability of consumer headsets for virtual and augmented realities has lowered the barrier of entry for virtual environments. In this paper, we explore the different aspects of using such environments for simulating robots in user studies and present the first findings from our own research work. Finally, we recommend directions for applying and using simulation in human-robot interaction.

研究の動機と目的

• シミュレーテッドロボットを人間-ロボットインタラクション（HRI）研究に用いることの実現可能性と利点を評価すること。
• ユーザー研究において物理的ロボットを導入することに伴う時間、コスト、運用上の複雑さを低減すること。
• ミックスドリアリティヘッドセットを用いたバーチャル環境が、現実的なHRI実験をどのように支援できるかを検討すること。
• シミュレーションがHRI研究において実ロボット研究に優位となる状況を特定すること。
• 実証的知見に基づき、シミュレーションを用いたHRI研究の設計ガイドラインを提示すること。

提案手法

• 3Dロボットモデルの生成にURDFファイルを用い、Unity3Dを用いてバーチャル環境およびロボットモデルの作成に使用した。
• ロボットの制御に現実的な挙動を実現するため、ROS 2とUnity3Dを統合し、経路計画、運動学、軌道制御を実装した。
• 没入型ユーザーインタラクションを実現するため、一般消費者向けのミックスドリアリティヘッドセット（例：Oculus Quest 2、Microsoft HoloLens 3）を用いた。
• VRベースの協働作業（遮蔽されたロボットを伴う）やモジュラーロボットの構成タスクなど、特定のHRI研究に適したカスタムバーチャル環境を開発した。
• ユーザーの体験や認知的負荷を評価するため、音声、視覚、触覚のマルチモーダルフィードバックをシミュレーションに統合した。
• Unityにおけるプリセットのゲームオブジェクト（prefabs）を活用し、環境およびロボット部品の迅速なプロトタイピングを実現した。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、シミュレーテッドロボットが実ロボットよりもHRI研究に適していると考えられるか？
• RQ2 音声、視覚、触覚といった異なるフィードバックモダリティが、シミュレーテッドHRIにおける認知的負荷とユーザー体験にどのように影響するか？
• RQ3 VR/ARにおけるシミュレーテッドロボットは、実世界のHRI実験とどの程度同等の結果をもたらすか？
• RQ4 シミュレーションは、物理的製造の前段階で新規ロボットプロトタイプの初期段階での検証をどのように支援できるか？
• RQ5 シミュレーションと実世界テストは、HRI研究においてどのように補完し合うことができるか？

主な発見

• Unity3Dの経験のない学部学生が3週間でUnity3DとROSの統合を実現したが、これは技術的障壁が低いことを示している。
• シミュレーテッドロボットにより、物理的ハードウェアの制約がなく、二重タスク（例：ロボット監視と認知的負荷を伴うタスク）のような複雑なタスクの迅速なプロトタイピングが可能になった。
• バーチャル環境の利用により、空間的および運用上の制約が解消され、柔軟なレイアウト設計と研究間での再現性が向上した。
• シミュレーションにより、モジュラーロボットのような新規ロボット設計の反復的検証とテストが迅速化され、開発時間の短縮が実現した。
• VRを用いたシミュレーテッドロボットの研究は、マルチモーダルインタラクションやユーザー体験の評価において、現地実験と同等の結果を示した。
• 低コストのハードウェアとバーチャルアクセスの導入により、遠隔での研究実施が可能となり、COVID-19パンデミック期のような移動制限下でも研究のアクセス性が向上した。