[논문 리뷰] Design and Development of an automated Robotic Pick & Stow System for an e-Commerce Warehouse

Swagat Kumar, Anima Majumder외 10명|arXiv (Cornell University)|2017. 03. 07.

Robot Manipulation and Learning참고 문헌 53인용 수 7

한 줄 요약

이 논문은 e커머스 창고에서 자동으로 물건을 꺼내고 넣는 작업을 위한 저비용, 센서 최소화된 로봇 시스템을 제시한다. 이 시스템은 Faster R-CNN 기반의 인식 모듈, 맞춤형 진공 흡착 집게, 실시간 운동 계획을 사용한다. 이 시스템은 단지 4,800개의 학습 샘플을 사용하여 평균 물체 인식 정확도 90±5%를 달성했으며 분당 2.5회의 꺼내기/놓기 작업을 수행했고, 2016년 아마존 피킹 챌린지에서 5위를 차지했다.

ABSTRACT

In this paper, we provide details of a robotic system that can automate the task of picking and stowing objects from and to a rack in an e-commerce fulfillment warehouse. The system primarily comprises of four main modules: (1) Perception module responsible for recognizing query objects and localizing them in the 3-dimensional robot workspace; (2) Planning module generates necessary paths that the robot end- effector has to take for reaching the objects in the rack or in the tote; (3) Calibration module that defines the physical workspace for the robot visible through the on-board vision system; and (4) Gripping and suction system for picking and stowing different kinds of objects. The perception module uses a faster region-based Convolutional Neural Network (R-CNN) to recognize objects. We designed a novel two finger gripper that incorporates pneumatic valve based suction effect to enhance its ability to pick different kinds of objects. The system was developed by IITK-TCS team for participation in the Amazon Picking Challenge 2016 event. The team secured a fifth place in the stowing task in the event. The purpose of this article is to share our experiences with students and practicing engineers and enable them to build similar systems. The overall efficacy of the system is demonstrated through several simulation as well as real-world experiments with actual robots.

연구 동기 및 목표

• e커머스 창고에서 자동으로 물건을 꺼내고 넣는 데에 저비용이며 센서 최소화된 로봇 시스템을 개발하는 것.
• 최소한의 인프라 변경으로도 비정형 창고 환경에서 실시간 자율 운영을 가능하게 하는 것.
• 제한된 레이블링 데이터로 훈련된 소형 효율적인 딥 러닝 모델을 통해 높은 인식 정확도를 달성하는 것.
• 부드럽고 변형 가능한 물체를 포함한 다양한 종류의 물체를 다룰 수 있는 유연한 집게를 설계하는 것.
• 2016년 아마존 피킹 챌린지 참가를 통해 시스템의 실현 가능성을 입증하는 것.

제안 방법

• 3D 작업 공간 내에서 실시간 물체 검출 및 위치 지정을 위해 VGG-16과 ZF 백본을 사용한 Faster R-CNN 모델을 활용했다.
• 학습 샘플 수요를 줄이면서도 검출 정확도를 유지하기 위해 하이브리드 데이터 증강 전략을 구현했다.
• 다양한 종류의 물체에 걸쳐 신뢰도 높은 캐치를 가능하게 하기 위해 기계식 밸브 제어 진공 흡착 기능을 갖춘 이중 손가락 집게를 설계했다.
• 깊이 및 RGB 데이터를 사용한 인식 파이프라인을 개발하여 표면 법선 및 곡률을 계산함으로써 강력한 물체 분할을 구현했다.
• 검출된 물체 자세와 집게 제약 조건을 바탕으로 충돌 없는 경로를 생성하는 운동 계획 모듈을 통합했다.
• 환경 센서 없이도 물리적 작업 공간과 시각 시스템의 좌표 프레임을 정렬하기 위해 校정 모듈을 사용했다.

실험 결과

연구 질문

• RQ1 적은 학습 데이터와 낮은 계산 비용으로도 로봇 시스템이 높은 물체 인식 정확도를 달성할 수 있는가?
• RQ2 비정형 창고 환경에서 다양한 형태, 크기, 재질의 물체를 다룰 수 있도록 집게 설계를 어떻게 최적화할 수 있는가?
• RQ3 실생활 로봇 피킹 및 스토잉 작업에서 센서 최소화와 시스템 성능 사이의 상충 관계는 어떠한가?
• RQ4 가벼운 인식 및 계획 스택이 표준 GPU 하드웨어에서 실시간 성능을 달성할 수 있는가?
• RQ5 딥 러닝 모델을 어떻게 변형시켜 레이블링 작업의 부담을 줄이면서도 검출 신뢰성을 유지할 수 있는가?

주요 결과

• 이 시스템은 단지 4,800개의 학습 샘플만을 사용하여 평균 물체 인식 정확도 90±5%를 달성했으며, 다른 팀들보다 훨씬 적은 수의 샘플을 사용했다.
• VGG-16 백본을 사용한 Faster R-CNN 모델은 실제 환경 테스트에서 29개의 물체 클래스에 대해 평균 정밀도 85.6%를 기록했다.
• 기계식 밸브 제어 진공 흡착 기능을 갖춘 맞춤형 이중 손가락 집게는 부드럽고 비정형 형태의 물체를 포함해 총 29개의 물체 유형 중 24개에 대해 안정적인 캐치를 가능하게 했다.
• 일반 조건에서 시스템은 분당 2.5회의 피킹 또는 스토잉 작업을 수행했으며, 실시간 실행 가능성은 입증되었다.
• 하이브리드 데이터 증강 방법은 표준 증강 방식 대비 학습 샘플 수요를 40% 감소시켰으며, 검출 정확도에 영향을 주지 않았다.
• 교정 및 인식 파이프라인 덕분에 다양한 조명 조건과 가림 상태에서도 일관된 시각-모터 조율이 여러 시험에서 성공적으로 구현되었다.