[논문 리뷰] Knowledge-Enabled Robotic Agents for Shelf Replenishment in Cluttered Retail Environments

Jan Winkler, Ferenc Bálint-Benczédi외 6명|arXiv (Cornell University)|2016. 05. 13.

Advanced Manufacturing and Logistics Optimization인용 수 9

한 줄 요약

이 논문은 혼잡한 소매 환경에서 자율적인 선반 보충을 위한 지식 기반 로봇 프레임워크를 제안하며, 인식, 지식 기반 추론, 조작을 통합하여 가림, 중첩된 물체, 모호한 공간 지시어를 처리합니다. 이 시스템은 PR2 로봇에서 물체 재배치 계획 및 실행을 성공적으로 수행하여, 복잡한 혼잡과 동적 조건이 존재하는 실제 및 시뮬레이션 환경에서 뛰어난 성능을 발휘합니다.

ABSTRACT

Autonomous robots in unstructured and dynamically changing retail environments have to master complex perception, knowledgeprocessing, and manipulation tasks. To enable them to act competently, we propose a framework based on three core components: (o) a knowledge-enabled perception system, capable of combining diverse information sources to cope with occlusions and stacked objects with a variety of textures and shapes, (o) knowledge processing methods produce strategies for tidying up supermarket racks, and (o) the necessary manipulation skills in confined spaces to arrange objects in semi-accessible rack shelves. We demonstrate our framework in an simulated environment as well as on a real shopping rack using a PR2 robot. Typical supermarket products are detected and rearranged in the retail rack, tidying up what was found to be misplaced items.

연구 동기 및 목표

• 비정형적이고 동적인 소매 환경에서 무거운 가림과 혼잡으로 인해 발생하는 자율적 선반 보충 과제를 해결하기 위해.
• 정량적 공간 기술과 암시적 조작 동작을 사용하여 물체 배열에 대해 추론할 수 있는 로봇 에이전트를 가능하게 하기 위해.
• 물체의 위치나 방향에 대한 사전 지식 없이도 견고한 인식과 조작을 수행할 수 있는 시스템을 개발하기 위해.
• 지식 기반 추론을 조작 계획과 통합하여 실세계 소매 환경에서 목표 지향적 행동을 달성하기 위해.

제안 방법

• 다중 모odal 센서 데이터를 융합하는 배경 지식 기반 인식 시스템이 가림이나 반복적인 무늬 또는 형상이 있는 물체를 탐지하고 정위치를 파악합니다.
• 지식 처리 방법이 정량적 공간 추론과 의미적 이해를 사용하여 물체 간 관계를 추론하고 재배치 전략을 생성합니다.
• 유사한 물체를 함께 묶는 동작 시퀀스를 생성하고, 암시적 보조 동작을 통해 가림을 처리하는 새로운 플래너를 개발합니다.
• 충돌 회피에 주의를 기울인 운동 계획을 사용하여 제한된 공간 내에서 조작 기술을 실행하여 인접한 물체를 흐트리지 않습니다.
• 목표 구성 기반으로 제품 그룹의 공간을 할당하기 위해 격자 셀 타일링 방식을 사용합니다.
• 실세계 평가를 위해 실제 시뮬레이션된 소매 랙을 사용하여 PR2 로봇에서 실시되었습니다.

실험 결과

연구 질문

• RQ1 사전 위치나 방향 사전 지식 없이, 혼잡하고 심하게 가려진 소매 환경에서 로봇 에이전트가 물체 배열을 어떻게 인식하고 추론할 수 있는가?
• RQ2 어떤 지식 기반 추론 기법이 모호한 공간 지시어 하에서 선반 정리 작업을 위한 실행 가능한 조작 전략을 생성하는 데 기여하는가?
• RQ3 로봇이 명시적 재그립 또는 사전 계획 없이 암시적 보조 동작을 통해 물체의 가림을 어떻게 자율적으로 해결할 수 있는가?
• RQ4 의미적 이해와 공간 추론은 동적 소매 환경에서 조작 작업의 견고성과 성공률에 어떤 영향을 미치는가?
• RQ5 인식, 추론, 조작의 통합은 실세계 구현에서 장기적이고 신뢰할 수 있는 성능을 어떻게 가능하게 하는가?

주요 결과

• 시스템은 시뮬레이션 및 실제 환경 모두에서 일반 초코렛, 식료품 등의 물체를 성공적으로 탐지하고 재배치했습니다. 특히 무거운 가림과 중첩된 물체가 있는 상황에서도 성공했습니다.
• 실제 로봇 실험에서는 물체 재배치 작업을 1.9초에서 124.4초 사이에 완료했으며, 작업 복잡도에 따라 평균 동작 시퀀스 비용은 17.2에서 32.4 사이였습니다.
• 이 프레임워크는 다중 가림, 비정형 형상의 물체, 중첩된 물체를 처리하는 데 있어 견고성을 보였으며, 시험 조건 하에서 핵심 인식 또는 계획에서 실패가 발생하지 않았습니다.
• 정량적 공간 추론을 활용함으로써 로봇은 가려진 물체의 위치를 추론하고 효과적인 보조 동작을 계획하여 접근할 수 있었습니다.
• 물체가 중첩되거나 유사한 무늬를 가진 경우에도 시스템은 표준 인식 전용 접근 방식보다 뛰어난 성능을 보였습니다.
• 지식 기반 추론의 통합은 특히 복잡하고 동적인 상황에서 계획 효율성과 성공률을 크게 향상시켰습니다.