[논문 리뷰] Enabling Intuitive Human-Robot Teaming Using Augmented Reality and Gesture Control

Jason M. Gregory, Christopher Reardon외 4명|arXiv (Cornell University)|2019. 09. 13.

Social Robot Interaction and HRI참고 문헌 15인용 수 12

한 줄 요약

이 논문은 외부 센서 없이 실시간으로 양방향 커뮤니케이션을 가능하게 하는 증강현실(AR)-기반 수동 장갑과 AR 헤드마운트 디스플레이(HMD)를 활용한 제스처 기반 인간-로봇 협업 시스템을 제시한다. 이는 실생활 서비스 중심 임무에서 직관적인 상호작용을 가능하게 하며, 현장 시험에서 상황 인식 능력과 명령 효율성이 향상됨을 입증한다. 주요 기여는 직관적 제어, 실시간 AR 시각화, 그리고 동적 임무에 대응하는 강력한 제스처 인식 기술이다.

ABSTRACT

Human-robot teaming offers great potential because of the opportunities to combine strengths of heterogeneous agents. However, one of the critical challenges in realizing an effective human-robot team is efficient information exchange - both from the human to the robot as well as from the robot to the human. In this work, we present and analyze an augmented reality-enabled, gesture-based system that supports intuitive human-robot teaming through improved information exchange. Our proposed system requires no external instrumentation aside from human-wearable devices and shows promise of real-world applicability for service-oriented missions. Additionally, we present preliminary results from a pilot study with human participants, and highlight lessons learned and open research questions that may help direct future development, fielding, and experimentation of autonomous HRI systems.

연구 동기 및 목표

• 실생활의 동적 환경에서 효율적이고 이원적인 정보 교환 문제를 해결하기 위해.
• 자율 로봇을 포함한 서비스 중심 임무에서 제스처 인식을 활용한 직관적인 인간-로봇 명령 입력과 AR 시각화를 통한 로봇-인간 피드백을 가능하게 하는 현장 적용 가능한 시스템을 개발하기 위해.
• 자율 로봇을 포함한 서비스 중심 임무에서 사용 가능한 웨어러블 기반, 외부 장비가 없는 시스템의 사용성, 표현력, 내구성 평가하기 위해.
• 인간 참가자와 함께 실시한 프로토타입 현장 시험을 통해 AI 기반 인간-로봇 상호작용(HRI)의 실용적 한계와 열린 연구 문제를 규명하기 위해.
• 비선형 시야(NLoS) 조건을 포함한 비정형 환경에서 장기간 임무를 수행할 경우, 센서 융합 및 상태 추정 최적화를 위해.

제안 방법

• 시스템은 관성측정단위(IMUs)를 탑재한 웨어러블 제스처 인식 장갑을 사용하여 손 제스처를 감지하고 이를 로봇 명령으로 변환한다.
• AR 헤드마운트 디스플레이(AR-HMD)는 사용자의 실제 세계 시야에 로봇이 생성한 계획, 행동, 센서 데이터를 오버랩하여 표시함으로써 실시간 상황 인식을 가능하게 한다.
• 로봇는 AI 기반 자율 행동을 통해 명령을 해석하고, 동적으로 이동하며, 비선형 시야(NLoS) 상황에서도 임무 목표를 유지한다.
• 프레임 정렬 기법을 통해 AR-HMD의 공간 기준과 로봇의 내부 지ap을 동기화하여 로봇 상태와 행동을 일관되게 시각화한다.
• 특정 제스처에 대응하는 사전 정의된 명령 세트(예: '이동', '정지', '내가 따라오기')를 지원하며, 명령 확인을 위한 햅틱 피드백도 제공한다.
• 아키텍처는 최소한의 외부 장비에 의존하도록 설계되어, 비정형 환경에서의 실생활 적용에 적합한 웨어러블 기기만을 활용한다.

실험 결과

연구 질문

• RQ1 실생활 비정형 환경에서 제스처 기반 인간-로봇 커뮤니케이션을 어떻게 직관적이고 표현력 있으며 내구성 있게 만들 수 있는가?
• RQ2 동적 임무 중 AR 시각화는 인간의 상황 인식 능력과 자율 로봇 행동에 대한 신뢰도에 어떤 영향을 미치는가?
• RQ3 비선형 시야(NLoS) 조건에서 시스템의 성능은 어떠한가? 특히 시각 범위를 초월해 로봇을 제어할 경우의 사용성에 대한 영향은 무엇인가?
• RQ4 장기간에 걸쳐 웨어러블 및 로봇용 IMU에서 발생하는 정확한 센서 상태 추정 오차(예: 드리프트)의 주요 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 장기간 임무 중 사용자 다양성, 피로, 일관되지 않은 제스처 실행에 대응하기 위해 제스처 인식 시스템은 어떻게 내구성 있게 설계할 수 있는가?

주요 결과

• 참가자들은 NLoS 작동 기능이 매우 영향력 있고 직관적이라고 평가했으며, 거의 모든 참가자가 AR 피드백을 통해 뷰어의 시야를 초월해 로봇을 제어하는 데 있어서의 용이함과 효과성에 놀라움을 표했다.
• 시스템의 명령 세트와 관련된 제스처는 핵심 임무 작업을 위한 충분한 표현력을 제공했지만, 사용자가 더 나은 사용성을 위해 '내가 따라오기' 명령에 적응형 거리 및 속도 제어를 요청했다.
• 제스처 장갑의 IMU에서 발생하는 센서 드리프트로 인해 시간이 지남에 따라 상태 추정 오류가 발생했으며, 재보정이 필요했으며, 이는 현장 적용 가능한 시스템에서 드리프트 보정 알고리즘이 반드시 필요하다는 점을 시사했다.
• NLoS 조건에서 목표 위치의 정확한 거리 명령을 내리는 데 참가자들이 어려움을 겪었으며, 이는 목표 위치 지정 방법이 더 민첩하고 공간적으로 정확해야 한다는 필요성을 보여주었다.
• 손가락 유연성의 개인적 차이가 정교하거나 동적인 제스처의 인식 정확도에 영향을 미쳤으며, 이는 제스처 설계가 사용자 다양성을 고려해야 한다는 점을 시사했다.
• 명령 확인을 위한 햅틱 피드백은 전반적으로 찬사를 받았으며, 명령 실행에 대한 사용자 자신감을 크게 향상시켰다. 이는 저대역폭 또는 고스트레스 환경에서 햅틱 피드백의 중요성을 강조한다.