[논문 리뷰] Virtual, Augmented, and Mixed Reality for Human-Robot Interaction: A Survey and Virtual Design Element Taxonomy

Michael Walker, Thao Phung외 3명|arXiv (Cornell University)|2022. 02. 23.

Virtual Reality Applications and Impacts인용 수 9

한 줄 요약

이 논문은 인간-로봇 상호작용(HRI) 분야에서 가상·증강·혼합현실(VAM) 설계 요소에 대한 종합적인 분류 체계를 제안하며, 핵심 유형 네 가지—작업, 환경, 물체, 가상 로봇 수정—로 분류한다. 이 프레임워크는 VAM-HRI 시스템의 정확한 기술 및 비교를 가능하게 하며, 특수 효과 수정과 같은 미개척 영역을 특정하고, 향후 연구 및 로봇 인터페이스 설계를 위한 기초 도구로 기능한다.

ABSTRACT

Virtual, Augmented, and Mixed Reality for Human-Robot Interaction (VAM-HRI) has been gaining considerable attention in research in recent years. However, the HRI community lacks a set of shared terminology and framework for characterizing aspects of mixed reality interfaces, presenting serious problems for future research. Therefore, it is important to have a common set of terms and concepts that can be used to precisely describe and organize the diverse array of work being done within the field. In this paper, we present a novel taxonomic framework for different types of VAM-HRI interfaces, composed of four main categories of virtual design elements (VDEs). We present and justify our taxonomy and explain how its elements have been developed over the last 30 years as well as the current directions VAM-HRI is headed in the coming decade.

연구 동기 및 목표

• VAM-HRI 연구에서 공유된 용어와 개념적 프레임워크의 부족으로 인해 진전과 재현 가능성에 장애가 발생하고 있음을 해결하기 위해.
• VAM-HRI 시스템의 핵심 인터페이스 구성요소를 포괄하는 체계적인 4개 카테고리 분류 체계인 가상 설계 요소(VDE)를 개발하기 위해.
• 특히 특수 효과 수정과 같은 미개척 VDE 카테고리들을 식별하여 향후 연구의 유망한 방향을 제시하기 위해.
• 연구자와 설계자가 기존 VAM-HRI 시스템을 비교하고 기술하며 이를 바탕으로 발전시킬 수 있도록 체계적인 기준을 제공하기 위해.
• 명확한 의사소통과 개념적 일치를 가능하게 하여 VAM-HRI가 주류 연구 분야로 성숙하도록 지원하기 위해.

제안 방법

• 30년 이상의 HRI 및 VAM 연구를 종합하여, 100편 이상의 VAM-HRI 논문을 분석해 반복적으로 나타나는 설계 요소를 도출하였다.
• VDE의 네 가지 주요 카테고리로 정의: 작업 이해(예: 경로점, 경로), 환경 이해(예: 3차원 시나리오 이해), 물체 이해(예: 3차원 물체 모델), 가상 로봇 수정(예: 로봇 상태 또는 의도 시각화).
• 각 VDE 카테고리 내에 계층적 하位 분류를 포함하며, 예를 들어 작업 이해 하위에 '그립 포인트'가 있고, 환경 이해 하위에 'LiDAR 포인트 클라우드'가 포함된다.
• 실제 VAM-HRI 응용 사례 분 析를 통해 프레임워크를 검증하였으며, 이는 해저 로봇 원격 조작 및 산업용 로봇 조작을 포함한다.
• 설계자가 특정 상호작용 목표(예: 공간 인지 향상 또는 작업 명확성 향상)에 따라 VDE를 선택할 수 있도록 실용적 유용성을 강조하였다.
• 기술 발전과 새로운 응용 사례에 따라 새로운 VDE 유형이 등장할 수 있음을 고려하여, 이 프레임워크는 진화 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 VAM-HRI 시스템에서 핵심적이고 반복적으로 나타나는 설계 요소는 무엇이며, 이를 체계적으로 분류할 수 있는가?
• RQ2 지난 30년간 VAM-HRI 인터페이스 설계는 어떻게 진화해왔으며, 응용 및 VDE 사용 분야에서 나타나는 추세는 무엇인가?
• RQ3 현재 문헌에서 미개척되거나 존재하지 않는 VDE 카테고리는 무엇이며, 어떤 기회를 제공하는가?
• RQ4 표준화된 VDE 분류 체계는 VAM-HRI 연구에서 의사소통, 비교, 혁신을 얼마나 향상시킬 수 있는가?
• RQ5 이 분류 체계는 특정 HRI 과제에 적합한 VDE를 선택하는 데 있어 개발자와 연구자에게 실질적인 설계 가이드로 어떻게 기능할 수 있는가?

주요 결과

• 대부분의 VAM-HRI 연구는 도메인 특화 응용보다는 내비게이션 및 조작과 같은 일반적 기능 향상에 집중되어 있다.
• 작업 이해 VDE—예를 들어 경로점, 경로, 작업 지시—는 VAM-HRI 시스템에서 가장 널리 사용되고 연구된 카테고리이다.
• 최근 연구에서 3차원 시나리오 시각화 및 센서 데이터 오버레이를 포함한 환경 이해 VDE에 대한 관심이 점점 증가하고 있다.
• 물체 이해 및 가상 로봇 수정 VDE는 비교적 신규로, 각각 2004년과 2006년에 처음 등장했으며 여전히 미개척 상태이다.
• 특수 효과 수정 VDE 분야에 상당한 연구 격차가 존재한다—로봇의 의도를 전달하기 위해 입자 시스템이나 동적 조명과 같은 시각 효과를 사용한 사례는 아직 과학 문헌에서 발견되지 않았다.
• 이 분류 체계는 이전에 간과되었던 설계 기회를 식별하고, 향후 VAM-HRI 분야의 연구 및 시스템 개발을 위한 체계적인 기반을 제공하였다.