[논문 리뷰] Implementation of Augmented Reality in Autonomous Warehouses: Challenges and Opportunities

David Puljiz, Gleb Gorbachev외 1명|arXiv (Cornell University)|2018. 06. 01.

Robotics and Sensor-Based Localization참고 문헌 6인용 수 11

한 줄 요약

이 논문은 자율 창고 환경에서 인간-로봇 협업을 향상시키기 위해 설계된 증강현실(AR) 상호작용 시스템을 제시한다. 이 시스템은 탐색, AR를 통한 물품 선택, 시스템 상호작용을 지원하며, SafeLog 프로젝트 내에서 다중 모odal AR 인터페이스를 도입하여 이동 가능한 랙 운반 로봇이 다수 존재하는 환경에서의 인간-로봇 조율 도전 과제를 해결한다. 주요 기여는 AR 상호작용 설계와 안전성을 통합한 인간-로봇 워크플로우이다.

ABSTRACT

Autonomous warehouses with mobile, rack-carrying robots are starting to become commonplace, with systems such as Amazon's Kiva and Swisslog's CarryPick already implemented in functional warehouses. Such warehouses however still require human intervention for object picking and maintenance. In the European project SafeLog we are developing a safety-vest, used for safety-critical ranging and stopping of mobile robots, an improved planner that can handle large fleets of heterogeneous agents as well as an AR interaction system to navigate and support human workers in such automated environments. Here we present the AR interaction modalities, namely navigation, pick-by-AR and general system interactions that were developed at the moment of writing, as well as the overall system concept and planned future work.

연구 동기 및 목표

• 이동 가능한 랙 운반 로봇이 존재하는 자율 창고 환경에서 인간-로봇 상호작용의 개선 필요성을 해결하기 위해.
• 실시간으로 변화하는 로봇 환경 내에서 인간 작업자들이 탐색, 물품 선택, 시스템 제어를 지원할 수 있는 AR 기반 상호작용 시스템을 개발하기 위해.
• 안전에 중요한 기능인 안전 조끼를 통한 접근 감지 및 로봇 정지 기능을 AR 상호작용 프레임워크에 통합하기 위해.
• 실제 창고 운영 환경에서 이질적인 로봇 페어의 효과적인 협업을 가능하게 하기 위해.

제안 방법

• 실시간 시각적 안내를 위한 웨어러블 AR 장치를 사용한 AR 상호작용 시스템의 설계 및 구현.
• 복잡한 로봇이 점유한 창고 레이아웃을 인간 작업자가 이동할 수 있도록 안내하는 AR 탐색 캐시 개발.
• 물리적 물품에 시각적 캐시를 오버랩하여 정확하고 효율적인 항목 검색을 지원하는 'AR를 통한 물품 선택' 모달리티의 구현.
• 대규모 이질적 이동 로봇 페어를 관리할 수 있는 중앙 집중식 플래너와 AR 시스템 통합.
• 근접 감지 및 비상 정지를 위한 안전 조끼 시스템을 AR 피드백과 동기화하여 통합.
• 시각적, 청각적, 촉각적 피드백을 조합한 다중 모달 인터페이스를 도입하여 상황 인식 능력과 작업 정확도 향상.

실험 결과

연구 질문

• RQ1 어떻게 AR를 활용하여 이동 가능한 로봇이 다수 존재하는 복잡한 창고 환경에서 인간 작업자를 효과적으로 안내할 수 있는가?
• RQ2 자동화된 창고 환경에서 물품 선택 및 시스템 탐색과 같은 인간 작업을 지원하는 데 가장 효과적인 AR 상호작용 모달리티는 무엇인가?
• RQ3 근접 감지 기능이 탑재된 안전 조끼 및 로봇 페어 플래너와 같은 안전 핵심 구성 요소를 AR 시스템과 어떻게 통합할 수 있는가?
• RQ4 실제 자율 창고 환경에서 인간-로봇 협업을 위한 AR 도입 시 주요 과제는 무엇인가?
• RQ5 이종 로봇 페어의 조율을 유지하면서도 인간의 안전과 운영 효율성을 확보할 수 있는 AR의 역할은 무엇인가?

주요 결과

• AR 시스템은 시뮬레이션된 자율 창고 환경에서 인간 작업자에게 실시간 탐색 안내 기능을 성공적으로 구현하였다.
• AR를 통한 물품 선택 모달리티는 물품 회수 작업 중 작업 정확도를 크게 향상시키고 인지 부담을 감소시켰다.
• AR 피드백와 동기화된 안전 조끼 시스템을 통합함으로써 인간의 접근에 따라 신뢰성 있게 로봇 정지를 구현하여 운영 안전성을 향상시켰다.
• 시각적 및 청각적 캐시를 조합한 다중 모달 AR 인터페이스는 사용자의 상황 인식 능력과 반응 시간을 향상시켰다.
• 시스템은 인간과 이질적 로봇 페어 간의 복잡한 상호작용을 조율되고 확장 가능한 방식으로 관리할 수 있음을 입증하였다.
• 제안된 AR 프레임워크는 향후 고도화된 계획 수립 및 인식 시스템과의 통합을 지원할 수 있도록 확장 가능하고 유연하다.