[论文解读] Exploring Human-robot Interaction by Simulating Robots

Khaled Kassem, Florian Michahelles|arXiv (Cornell University)|Jan 1, 2022

Virtual Reality Applications and Impacts被引用 1

一句话总结

本文提出在虚拟现实（VR）和增强现实（AR）环境中使用仿真机器人，以实现快速、低成本且灵活的人机交互（HRI）评估。通过将Unity3D与ROS集成，并使用消费级混合现实头戴设备，研究人员可在受控的虚拟环境中模拟机器人的行为、控制及用户交互，其结果与真实世界研究相当，同时显著降低时间、成本和后勤障碍。

ABSTRACT

As collaborative robots enter industrial shop floors, logistics, and manufacturing, rapid and flexible evaluation of human-machine interaction has become more important. The availability of consumer headsets for virtual and augmented realities has lowered the barrier of entry for virtual environments. In this paper, we explore the different aspects of using such environments for simulating robots in user studies and present the first findings from our own research work. Finally, we recommend directions for applying and using simulation in human-robot interaction.

研究动机与目标

• 评估在人机交互（HRI）研究中使用仿真机器人在可行性和优势方面的情况。
• 减少在用户研究中部署实体机器人所带来的时间、成本和后勤复杂性。
• 探索结合混合现实头戴设备的虚拟环境如何支持逼真的HRI实验。
• 识别在何种条件下仿真优于真实机器人研究的HRI研究场景。
• 基于实证发现，为设计基于仿真的HRI研究提供指导原则。

提出的方法

• 使用Unity3D创建虚拟环境和机器人模型，通过URDF文件生成3D机器人模型。
• 将Unity3D与ROS 2集成，以实现对机器人路径规划、运动学和轨迹控制的逼真控制。
• 使用消费级混合现实头戴设备（如Oculus Quest 2、Microsoft HoloLens 3）实现用户与仿真机器人的沉浸式交互。
• 为特定HRI研究开发定制的虚拟环境，包括被遮挡机器人参与的VR协作任务和模块化机器人配置任务。
• 在仿真中实现多模态反馈（音频、视觉、触觉），以评估用户体验和认知负荷。
• 在Unity中使用预制游戏对象（prefabs）快速原型化环境和机器人组件。

实验结果

研究问题

• RQ1 在何种条件下，仿真机器人比真实机器人更适合用于HRI研究？
• RQ2 不同反馈模态（音频、视觉、触觉）如何影响仿真HRI中的认知负荷和用户体验？
• RQ3 VR/AR中的仿真机器人在多大程度上能产生与真实世界HRI实验相当的结果？
• RQ4 仿真如何支持在物理制造之前对新型机器人原型进行早期设计验证？
• RQ5 仿真与真实世界测试在HRI研究中如何相互补充？

主要发现

• 一名无Unity3D使用经验的本科学生在三周内即实现了Unity3D与ROS的完整集成，表明技术入门门槛极低。
• 仿真机器人使复杂任务（如涉及机器人监管和认知负荷的双重任务）的快速原型设计成为可能，且不受实体硬件限制。
• 虚拟环境消除了空间和后勤限制，支持灵活的布局设计，并便于在不同研究中轻松复现。
• 仿真使新型机器人设计（如模块化机器人）的迭代和测试速度显著提升，从而在物理原型制作前大幅缩短开发时间。
• 在VR中使用仿真机器人进行的研究结果与现场研究相当，尤其在评估多模态交互和用户体验方面表现优异。
• 由于硬件成本低且可实现虚拟访问，远程研究成为可能，从而在疫情期间等行动受限时期显著提升了研究的可及性。