[논문 리뷰] Towards Massive Interaction with Generalist Robotics: A Systematic Review of XR-enabled Remote Human-Robot Interaction Systems

Xian Wang, Luyao Shen외 1명|arXiv (Cornell University)|2024. 03. 18.

Robotics and Automated Systems인용 수 5

한 줄 요약

XR을 활용한 원격 인간-로봇 상호작용(HRI) 시스템에 대한 체계적 PRISMA 리뷰로, XR 기술, 상호작용 설계, 로봇 유형, 작업, 평가 방법 및 향후 방향을 요약합니다.

ABSTRACT

The rising interest of generalist robots seek to create robots with versatility to handle multiple tasks in a variety of environments, and human will interact with such robots through immersive interfaces. In the context of human-robot interaction (HRI), this survey provides an exhaustive review of the applications of extended reality (XR) technologies in the field of remote HRI. We developed a systematic search strategy based on the PRISMA methodology. From the initial 2,561 articles selected, 100 research papers that met our inclusion criteria were included. We categorized and summarized the domain in detail, delving into XR technologies, including augmented reality (AR), virtual reality (VR), and mixed reality (MR), and their applications in facilitating intuitive and effective remote control and interaction with robotic systems. The survey highlights existing articles on the application of XR technologies, user experience enhancement, and various interaction designs for XR in remote HRI, providing insights into current trends and future directions. We also identified potential gaps and opportunities for future research to improve remote HRI systems through XR technology to guide and inform future XR and robotics research.

연구 동기 및 목표

• XR 기술(AR/VR/MR)이 일반 로봈 로봇의 원격 제어를 가능하게 하는 방식 평가
• XR 기반 원격 HRI에서의 상호작용 양식, 인터페이스 설계 및 관점 종합
• XR 기반 HRI 문헌에서 연구된 로봇 유형 및 원격 작업 분류
• XR 기반 원격 HRI 시스템의 평가 방법 및 남아 있는 격차 파악
• XR 기반 원격 HRI를 발전시키기 위한 연구 의제 제시

제안 방법

• XR 기반 원격 HRI 연구를 식별하기 위한 PRISMA 방법론 적용
• ACM DL, IEEE Xplore, ScienceDirect에서 2,588편의 논문 검색, 더불어 Google Scholar 및 Connected Papers 포함
• 데이터 추출을 위해 포함 기준을 적용하여 100편의 논문 선별
• XR 기술, 상호작용 양식, 가상 인터페이스, 사용자 관점, 로봇 유형, 작업, 평가, 지연, 다중사용자 지원 및 개선점을 포괄하는 데이터 추출 루브릭 개발 및 적용
• 가장 최근 연구를 반영하기 위해 2022년 5월과 2023년 12월 두 차례의 데이터 추출 수행

실험 결과

연구 질문

• RQ1 원격 HRI에 사용되는 XR 기술(VR/AR/MR)은 무엇이며 어떤 맥락에서 사용되는가?
• RQ2 원격 로봇 제어를 위해 가장 효과적인 상호작용 양식과 가상 인터페이스는 무엇인가?
• RQ3 XR 기반 HRI 연구에서 조사된 로봇 유형과 원격 작업은 무엇이며 어떻게 분포하는가?
• RQ4 XR 기반 원격 HRI 시스템은 어떻게 평가되며 지연이나 성능 지표가 어떤가?
• RQ5 XR 기반 원격 HRI 연구에서 나타나는 격차와 향후 방향은 무엇인가?

주요 결과

• VR HMD가 XR 사용의 67%를 차지하며 그다음으로 AR HMD 19%, MR 5%, CAVE 2%, 모바일 AR 1%가 뒤따릅니다.
• 대부분의 연구는 상호작용에 내장 컨트롤러나 제스처를 사용하며, 서브세트에서 조이스틱과 햅틱 장치를 사용합니다(컨트롤러 27%, 제스처 방식 20%).
• 로봇 팔이 가장 많이 연구된 로봇 유형(41%)이며, 내비게이션, 포지션/잡기/배치, 산업 작업 등이 상위 활동으로 각각 26%, 18%, 18%를 차지합니다.
• 논문 중 38%는 평가를 포함하지 않았고, 평가를 포함한 경우 69%는 정량적 방법(시간/정확도, NASA-TLX 등)을 사용했으며, 36%는 단일 방법 또는 하이브리드 방식을 사용했습니다.
• XR 기반 원격 HRI 연구가 로봇/제조 분야에 집중되어 있으며 2023년에 논문이 급증했습니다.
• 문헌은 XR 기반 원격 HRI 인터페이스에 대한 분류 체계를 제시하며, 사용자 관점(로봇에 연동된/연동되지 않은, 조감도, 동적) 및 인터페이스 유형(직접형, 디지털 트윈, 가상 제어실, 하이브리드 변형)을 포함합니다.