[논문 리뷰] Negotiation-based Human-Robot Collaboration via Augmented Reality

Kishan Chandan, Vidisha Kudalkar외 2명|arXiv (Cornell University)|2019. 09. 24.

Social Robot Interaction and HRI인용 수 9

한 줄 요약

이 논문은 인간-로봇 협업을 위한 증강현실(AR)을 통한 협상 기반 프레임워크인 ARN을 제안한다. 이는 로봇 상태와 경로를 실시간으로 시각화하고, 동적 재계획을 위한 双방향 피드백을 지원함으로써 실시간 협업을 가능하게 한다. 실험 결과, ARN은 비-AR 기반 기준 대비 작업 완료 시간을 최대 7.5% 감소시켜 공간 인지 기반의 피드백 기반 협업을 통해 협업 효율을 크게 향상시킨다.

ABSTRACT

Effective human-robot collaboration (HRC) requires extensive communication among the human and robot teammates, because their actions can potentially produce conflicts, synergies, or both. We develop a novel augmented reality (AR) interface to bridge the communication gap between human and robot teammates. Building on our AR interface, we develop an AR-mediated, negotiation-based (ARN) framework for HRC. We have conducted experiments both in simulation and on real robots in an office environment, where multiple mobile robots work on delivery tasks. The robots could not complete the tasks on their own, but sometimes need help from their human teammate, rendering human-robot collaboration necessary. Results suggest that ARN significantly reduced the human-robot team's task completion time compared to a non-AR baseline approach.

연구 동기 및 목표

• 공동 물리 환경에서 인간-로봇 협업(HRC)에 효과적이고 실시간적인 소통의 부족을 해결하기 위해.
• 증강현실(AR)을 활용해 공간적으로 직관적인 双방향 정보 교환을 통해 인간과 로봇 간의 소통 격차를 해소하기 위해.
• 로봇이 인간의 피드백에 기반해 동적으로 재계획을 수행할 수 있도록 하여 협업적 배달 작업의 효율을 향상시키기 위해.
• 모의 실험과 실제 인간-로봇 협업 실험을 통해 인간의 피드백이 HRC 성능에 미치는 영향을 평가하기 위해.

제안 방법

• ARN 프레임워크는 AR 인터페이스를 사용해 로봇 위치와 계획된 운동 경로를 실시간으로 오버랩하여 인간 동료가 로봇의 의도를 시각적으로 인지할 수 있도록 한다.
• 사용자는 AR를 통해 'X분 동안 도와줄 수 없습니다'와 같은 피드백을 제공하며, 이는 로봇 재계획을 위한 시간 제약 조건으로 변환된다.
• 시스템은 인간의 피드백을 협상 루프에 통합하여, 갈등을 방지하고 유기적인 협업을 향상시키기 위해 로봇의 계획을 반복적으로 조정한다.
• 모의 실험은 Gazebo와 ROS를 사용해 로봇 주행을 구현하고, Unity를 사용해 AR 인터페이스와 인간 행동(작업 시간 및 피드백 행동 포함)을 시뮬레이션한다.
• 모의 실험에서는 작업 지속 시간과 피드백 시점에 대해 정규분포를 사용해 인간 행동을 모델링하며, 피드백 상태에 따라 문 열기 확률을 조정한다.
• 실제 환경 실험은 사무실 환경에서 이동형 로봇과 인간 참가자가 인간의 도움이 필요한 배달 작업을 수행하도록 실시되었다.

실험 결과

연구 질문

• RQ1 로봇 상태와 경로의 AR 기반 시각화가 인간-로봇 협업 효율에 어떤 영향을 미치는가?
• RQ2 인간으로부터의 양방향 피드백이 HRC에서 작업 완료 시간에 얼마나 기여하는가?
• RQ3 로봇 재계획에 인간의 피드백을 통합한 경우와 피드백이 없는 기준 대비 작업 효율은 어떻게 비교되는가?
• RQ4 ARN은 가림막과 시야 제한이 있는 실제 동적 환경에서도 협상 기반 협업을 효과적으로 지원할 수 있는가?

주요 결과

• 인간 피드백이 있는 ARN은 전체 팀 작업 완료 시간(T^all)을 46.64초(±4.31)로 줄였으며, 피드백이 없는 기준 조건(50.43초, ±6.35)보다 유의미하게 낮았고, p < .001이었다.
• 마지막 로봇이 작업을 완료하는 데 걸린 평균 시간(T^R_last)은 피드백 조건에서 16.65초(±0.73)였고, 피드백 없음 조건에서는 17.94초(±0.90)였다.
• 피드백 조건에서는 인간의 작업 완료 시간(T^H)이 약간 낮아서 15.67 ± 3.04였고, 피드백 없음 조건에서는 16.77 ± 4.73였으며, 이는 더 나은 작업 조율을 의미한다.
• 피드백 메커니즘이 불필요한 대기 시간을 줄여 무용한 정지 시간을 감소시키고 전체 시스템 처리량을 향상시켰다.
• 모의 실험 결과는 피드백 통합이 협업 효율을 크게 향상시킨다는 것을 확인하였으며, 이는 통제된 환경에서 프레임워크 설계의 타당성을 검증한다.
• 실제 환경 실험은 ARN이 AR 시각화와 피드백을 통해 적시적이고 맥락 인지 기반의 인간-로봇 협상을 가능하게 하여 협업 효율을 향상시킨다는 것을 입증하였다.