[논문 리뷰] Team Delft's Robot Winner of the Amazon Picking Challenge 2016

Carlos Hernández, Mukunda Bharatheesha외 14명|arXiv (Cornell University)|2016. 10. 18.

Robotics and Sensor-Based Localization참고 문헌 3인용 수 7

한 줄 요약

팀 델프트의 로봇은 2016년 아마존 피킹 챌린지에서 7-DOF 산업용 로봇 암, 진공 및 집게 기능을 갖춘 맞춤형 그립퍼, 그리고 객체 인식, 자세 추정, 운동 계획을 위한 딥러닝을 통합한 ROS 기반 소프트웨어를 조합하여 우승을 차지했다. 이 시스템은 다양한 혼잡한 창고 물품에 대해 속도, 내구성, 안정적인 그립 계획을 통해 피킹 및 스토잉 과제에서 최고의 성과를 기록했다.

ABSTRACT

This paper describes Team Delft's robot, which won the Amazon Picking Challenge 2016, including both the Picking and the Stowing competitions. The goal of the challenge is to automate pick and place operations in unstructured environments, specifically the shelves in an Amazon warehouse. Team Delft's robot is based on an industrial robot arm, 3D cameras and a customized gripper. The robot's software uses ROS to integrate off-the-shelf components and modules developed specifically for the competition, implementing Deep Learning and other AI techniques for object recognition and pose estimation, grasp planning and motion planning. This paper describes the main components in the system, and discusses its performance and results at the Amazon Picking Challenge 2016 finals.

연구 동기 및 목표

• 비정형 창고 환경에서 자율적인 피킹 및 스토잉이 가능한 내구성 있고 고속의 로봇 시스템을 개발하는 것.
• 다양하고 변형 가능하며 반사성이 있는 물품이 있는 혼잡하고 실제적인 환경에서 객체 인식, 그립 계획, 운동 계획의 과제를 해결하는 것.
• 일반 소재 부품과 맞춤형 AI 모듈을 통합하여 산업 자동화에 적용 가능한 가능성을 입증하는 것.
• 성능, 신뢰성, 빠른 구현을 균형 잡은 산업용으로 바로 사용 가능한 로봇 솔루션을 검증하는 것.

제안 방법

• 수평 레일에 장착된 7-DOF SIA20F 모토만 로봇 암을 사용하여 상자 전체에 접근 가능한 8개의 자유도를 확보했다.
• 90도로 회전 가능한 진공 컵과 집게 기구를 갖춘 40cm 길이의 맞춤형 그립퍼로 모든 39개의 대회 물품을 어떤 방향이든 집을 수 있도록 했다.
• 3D 카메라가 실시간 깊이 데이터를 제공하고, ROS가 인식, 계획, 제어 모듈을 통합했다.
• 딥러닝 모델을 사용해 객체 인식과 자세 추정을 수행했으며, 맞춤형 알고리즘을 통해 그립 및 운동 계획을 수행했다.
• 충돌을 피하기 위해 순수 계획 기반 접근 방식을 사용했지만, 이는 혼잡한 상자에서는 자주 계획이 거부되는 결과를 초래했다.
• 스토잉을 위해 사전 계산된 궤적을 사용했으며, 중력을 활용해 상자 삽입을 단순화했다.

실험 결과

연구 질문

• RQ1 어떻게 로봇 시스템이 창고 환경에서 다양한 비정형 물품을 고속으로 안정적으로 피킹 및 스토잉할 수 있는가?
• RQ2 일반 소재 부품과 ROS 기반 소프트웨어 통합이 실제 산업 과제에서 내구성 있는 성능을 가능하게 하는 정도는 어느 정도인가?
• RQ3 장애물과 반사성이 강한 물품이 있는 혼잡한 상자에서 순수 계획 기반 접근 방식의 조작에 어떤 한계가 있는가?
• RQ4 딥러닝 기반의 인식 및 그립 계획이 복잡한 실제 산업용 로봇 과제에서 성능을 크게 향상시킬 수 있는가?
• RQ5 속도, 내구성, 그립퍼의 유연성 등의 설계 원칙이 아마존 피킹 챌린지와 같은 고위험 로봇 대회에서 성공을 이끌어내는 데 어떤 영향을 미치는가?

주요 결과

• 팀 델프트의 로봇은 피킹 및 스토잉 과제에서 모두 최고 점수를 기록하여 대회에서 우승했다.
• 피킹 과제에서 185점 중 185점을, 스토잉 과제에서 246점 중 246점을 기록하여 주어진 과제에서 거의 완벽한 성능를 보였다.
• 객체 인식 모듈은 다양한 조명 조건에서도 안정적으로 작동했지만, 자세 추정은 반사로 인해 심각하게 영향을 받아 흐린 점군을 유발했다.
• 운동 계획이 주요 성능 저하 요인이었으며, 특히 혼잡한 상자에서는 충돌로 인해 많은 계획이 거부당했다.
• 무거운 크기의 물품, 특히 덤벨은 높은 정밀도 요구와 제한된 탄성으로 인해 처리에 어려움을 겪었다.
• 팀은 힘 피드백과 그립퍼의 탄성을 신뢰할 수 있는 조작을 위해 필수적이라고 결론 내렸으며, 다양한 물품 집합에 대해 다중 그립퍼 시스템이 단일 그립퍼 설계를 능가할 수 있다고 평가했다.