[논문 리뷰] ARROCH: Augmented Reality for Robots Collaborating with a Human

Kishan Chandan, Vidisha Kudalkar외 2명|arXiv (Cornell University)|2021. 09. 21.

Robotics and Automated Systems참고 문헌 30인용 수 4

한 줄 요약

ARROCH는 실내 다중실 환경에서 인간과 다수의 로봇 간 이원적이고 다회차 소통을 가능하게 하는 혁신적인 증강현실 시스템이다. 이 시스템은 인간이 AR 오버레이를 통해 로봇의 상태와 의도를 시각화하고 실시간 피드백을 제공할 수 있도록 하며, 로봇은 이를 바탕으로 동적 재계획을 수행한다. 실세계 및 시뮬레이션 실험을 통해 비-AR 기반 시스템 대비 팀워크 효율성과 사용자 경험 향상을 입증하였다.

ABSTRACT

Human-robot collaboration frequently requires extensive communication, e.g., using natural language and gestures. Augmented reality (AR) has provided an alternative way of bridging the communication gap between robots and people. However, most current AR-based human-robot communication methods are unidirectional, focusing on how the human adapts to robot behaviors, and are limited to single-robot domains. In this paper, we develop AR for Robots Collaborating with a Human (ARROCH), a novel algorithm and system that supports bidirectional, multi-turn, human-multi-robot communication in indoor multi-room environments. The human can see through obstacles to observe the robots' current states and intentions, and provide feedback, while the robots' behaviors are then adjusted toward human-multi-robot teamwork. Experiments have been conducted with real robots and human participants using collaborative delivery tasks. Results show that ARROCH outperformed a standard non-AR approach in both user experience and teamwork efficiency. In addition, we have developed a novel simulation environment using Unity (for AR and human simulation) and Gazebo (for robot simulation). Results in simulation demonstrate ARROCH's superiority over AR-based baselines in human-robot collaboration.

연구 동기 및 목표

• 공동 사용 환경에서의 비효율적인 인간-로봇 협업 문제를 해결하며, 특히 거리가 떨어져 있거나 다중로봇 시나리오에서의 과제를 다루기 위해.
• 로봇 행동에 인간이 적응해야 하는 단방향, 단일로봇 AR 통신 시스템의 한계를 극복하기 위해.
• AR를 활용해 인간과 다수의 로봇 간 이원적이고 다회차 소통을 가능하게 하여 협업을 향상시키고 인지 부담을 감소시키기 위해.
• 복잡하고 현실적인 실내 환경에서 AR 기반 인간-다중로봇 상호작용을 평가하기 위한 시뮬레이션 플랫폼을 개발하기 위해.
• 인간이 실시간으로 로봇의 의도를 시각적으로 인지하고 피드백을 제공할 수 있도록 하여 작업 완료 효율성과 사용자 만족도를 향상시키기 위해.

제안 방법

• 태블릿 기반 AR 인터페이스를 사용해 로봇 현재 상태(예: 위치에 대한 3D 아바타)와 계획된 동작(예: 경로 마커)을 AR로 시각화하기 위해 통합하기 위해.
• 화면 상의 버튼을 통해 인간이 피드백을 제공할 수 있도록 상호작용 가능한 AR 인터페이스를 구현하며, 예를 들어 시간 창 내에서 도어 개방 등의 보조를 불가능함을 알리는 기능 포함.
• 로봇이 인간의 피드백을 수신하여 이를 운동 계획에 통합함으로써 갈등을 방지하고 협업을 향상시키기 위해 동적 재계획 기능을 구현하기 위해.
• Unity를 사용해 AR 인터페이스 행동 및 인간 의사결정을 시뮬레이션하고, Gazebo를 사용해 공유 실내 환경에서의 로봇 동역학 및 주행을 시뮬레이션하기 위해.
• 장애물이 존재하는 다중실 실내 환경을 모델링하는 시뮬레이션 환경을 설계하여 ARROCH의 성능을 현실적으로 평가할 수 있도록 하기 위해.
• 실세계 실험과 시뮬레이션을 융합하여 ARROCH가 비-AR 기반 시스템 대비 효율성과 사용자 경험 측면에서 뛰어남을 검증하기 위해.

실험 결과

연구 질문

• RQ1 ARROCH는 실내 다중실, 다중로봇 환경에서 비-AR 기반 표준 기준 대비 인간-로봇 팀의 작업 완료 효율성을 향상시킬 수 있는가?
• RQ2 이원적 AR 소통은 단방향 AR 또는 비-AR 인터페이스 대비 인지 부담을 감소시키고 작업 집중도를 향상시켜 사용자 경험을 향상시키는가?
• RQ3 ARROCH는 인간의 실시간 피드백을 로봇 운동 계획에 통합하여 동적 협업을 위해 얼마나 효과적으로 작용하는가?
• RQ4 ARROCH는 복잡한 실내 환경에서 확장 가능한, 거리가 떨어진 인간-다중로봇 협업을 어느 정도 지원하는가?
• RQ5 ARROCH 시뮬레이션 플랫폼은 인간-로봇 협업 결과 예측 측면에서 실세계 성능과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• ARROCH는 팀 작업 완료 효율성을 유의미하게 향상시켰으며, p-값이 0.01에서 0.05 사이로 통계적으로 유의미함을 입증하였다.
• 실세계 시험에서 ARROCH 팀은 대부분의 경우 950초 이내에 작업을 완료했지만, 비-AR 팀은 동일한 시간대내 작업 완료에 빈번히 실패하였다.
• 참가자들은 사용자 경험 지표(Q2, Q3, Q5)에서 유의미하게 높은 점수를 기록했으며, p-값이 0.001 이하로, 로봇 상태 추적 능력 향상, 분산 감소, 더 큰 만족도를 나타내었다.
• 시뮬레이션 환경은 실세계 협업 역학을 성공적으로 재현하였으며, ARROCH가 AR 기반 기준 대비 인간-로봇 협업 효율성에서 뛰어남을 입증하였다.
• 비-AR Rviz 기반 인터페이스는 지도 및 경로 시각화가 부족해 비전문가 사용자에게 빈번한 혼동을 야기하였다.
• ARROCH의 이원적 피드백 메커니즘은 참가자가 능동적으로 보조 불가능성을 신호할 수 있도록 하여 조율 오버헤드를 감소시키고 작업 집중도를 향상시켰다.