[논문 리뷰] Exploring Human-robot Interaction by Simulating Robots

Khaled Kassem, Florian Michahelles|arXiv (Cornell University)|2022. 01. 01.

Virtual Reality Applications and Impacts인용 수 1

한 줄 요약

이 논문은 인간-로봇 상호작용(HRI) 평가를 빠르고 저비용으로 유연하게 수행할 수 있도록 가상 및 증강현실 환경에서 시뮬레이션된 로봇을 사용하는 것을 제안한다. Unity3D를 ROS와 통합하고 소비자용 혼합현실 헤드셋을 사용함으로써 연구자들은 제어된 가상 환경에서 로봇의 동작, 제어 및 사용자 상호작용을 시뮬레이션할 수 있으며, 실제 실험과 유사한 결과를 도출하면서도 시간, 비용 및 물리적 제약을 줄일 수 있다.

ABSTRACT

As collaborative robots enter industrial shop floors, logistics, and manufacturing, rapid and flexible evaluation of human-machine interaction has become more important. The availability of consumer headsets for virtual and augmented realities has lowered the barrier of entry for virtual environments. In this paper, we explore the different aspects of using such environments for simulating robots in user studies and present the first findings from our own research work. Finally, we recommend directions for applying and using simulation in human-robot interaction.

연구 동기 및 목표

• 시뮬레이션된 로봇을 인간-로봇 상호작용(HRI) 연구에 사용하는 것의 가능성과 이점을 평가하기 위해.
• 사용자 연구에서 물리적 로봇을 도입함에 따라 발생하는 시간, 비용 및 물리적 복잡성을 줄이기 위해.
• 혼합현실 헤드셋을 활용한 가상 환경이 현실적인 HRI 실험을 어떻게 지원할 수 있는지 탐색하기 위해.
• 시뮬레이션을 실제 로봇 연구보다 선호할 수 있는 조건을 특정하기 위해.
• 실험적 결과를 바탕으로 시뮬레이션을 활용한 HRI 연구 설계 가이드라인을 제공하기 위해.

제안 방법

• 3D 로봇 모델 생성을 위해 URDF 파일을 사용하는 Unity3D를 활용해 가상 환경 및 로봇 모델을 제작하였다.
• 로봇 제어의 현실성 향상을 위해 Unity3D를 ROS 2와 통합하였으며, 경로 계획, 운동역학, 궤적 제어를 포함한 제어 기능을 지원하였다.
• 사용자 상호작용의 몰입감을 높이기 위해 소비자용 혼합현실 헤드셋(예: Oculus Quest 2, Microsoft HoloLens 3)을 활용하였다.
• 특정 HRI 연구를 위해 맞춤형 가상 환경을 개발하였으며, 가림된 로봇과의 VR 기반 협업 및 모듈식 로봇 구성 작업을 포함하였다.
• 사용자 경험과 인지 부하를 평가하기 위해 오디오, 시각, 촉각 등의 다중 모odal 피드백을 시뮬레이션에 통합하였다.
• 환경 및 로봇 구성 요소의 빠른 프로토타이핑을 위해 Unity의 사전 제작된 게임 오브젝트(prefabs)를 활용하였다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 시뮬레이션된 로봇이 실제 로봇보다 HRI 연구에 더 적합한가?
• RQ2 다양한 피드백 모달리티(오디오, 시각, 촉각)가 시뮬레이션된 HRI에서 인지 부하와 사용자 경험에 어떤 영향을 미치는가?
• RQ3 VR/AR에서의 시뮬레이션된 로봇이 실제 실험과 얼마나 유사한 결과를 도출할 수 있는가?
• RQ4 시뮬레이션은 물리적 제작 이전에 새로운 로봇 프로토타입의 초기 설계 검증을 어떻게 지원할 수 있는가?
• RQ5 시뮬레이션과 실제 실험은 HRI 연구에서 어떤 방식으로 상호보완적인 역할을 할 수 있는가?

주요 결과

• Unity3D 경험이 없는 학부생이 3주 내로 Unity3D와 ROS의 기능적 통합을 달성하여, 접근 장벽이 낮음을 입증하였다.
• 시뮬레이션된 로봇은 물리적 하드웨어 제약 없이 복잡한 작업(예: 로봇 감시와 인지 부하를 동시에 포함하는 이중 작업 시나리오)의 빠른 프로토타이핑을 가능하게 하였다.
• 가상 환경의 사용으로 공간적 및 물리적 제약이 제거되어 레이아웃 설계의灵活性가 향상되었고, 연구 간 복제가 용이해졌다.
• 물리적 프로토타이핑 이전에 모듈식 로봇과 같은 새로운 로봇 설계의 반복적 개선과 테스트가 빠르게 가능해져 개발 시간이 단축되었다.
• VR 기반의 시뮬레이션된 로봇을 활용한 연구는 실제 현장 연구와 유사한 결과를 도출하였으며, 특히 다중 모달 상호작용과 사용자 경험 평가에 있어 뛰어난 성능을 보였다.
• 저비용 하드웨어와 가상 접근성 덕분에 원격 연구 실행이 가능해져 코로나19 패닉 기간 동안 이동 제한 상황에서도 연구 접근성이 향상되었다.