[논문 리뷰] REPLAB: A Reproducible Low-Cost Arm Benchmark Platform for Robotic Learning

Brian Yang, Jesse Zhang외 3명|arXiv (Cornell University)|2019. 05. 17.

Robot Manipulation and Learning참고 문헌 34인용 수 21

한 줄 요약

REPLAB는 상업용 로봇 암과 RGBD 카메라를 기반으로 한 저비용, 재현 가능한 로봇 워크셀 플랫폼($2,000)으로, 시각 기반 로봇 조작 분야의 표준화된 벤치마킹을 위해 설계되었다. 이 플랫폼을 통해 연구소 간에 일관된 평가가 가능해졌으며, 25개 이하의 학습 에포크 내로 3차원 도달 성능이 1cm 이내로 달성되었고, 92,000개의 그립 데이터셋에 대한 기준 성능도 확립되었다.

ABSTRACT

Standardized evaluation measures have aided in the progress of machine learning approaches in disciplines such as computer vision and machine translation. In this paper, we make the case that robotic learning would also benefit from benchmarking, and present the "REPLAB" platform for benchmarking vision-based manipulation tasks. REPLAB is a reproducible and self-contained hardware stack (robot arm, camera, and workspace) that costs about 2000 USD, occupies a cuboid of size 70x40x60 cm, and permits full assembly within a few hours. Through this low-cost, compact design, REPLAB aims to drive wide participation by lowering the barrier to entry into robotics and to enable easy scaling to many robots. We envision REPLAB as a framework for reproducible research across manipulation tasks, and as a step in this direction, we define a template for a grasping benchmark consisting of a task definition, evaluation protocol, performance measures, and a dataset of 92k grasp attempts. We implement, evaluate, and analyze several previously proposed grasping approaches to establish baselines for this benchmark. Finally, we also implement and evaluate a deep reinforcement learning approach for 3D reaching tasks on our REPLAB platform. Project page with assembly instructions, code, and videos: https://goo.gl/5F9dP4.

연구 동기 및 목표

• 로봇 학습의 진입 장벽을 낮추기 위해 표준화되고 저비용이며 쉽게 복제 가능한 하드웨어 플랫폼을 제공하는 것.
• 다양한 연구소 간에 시각 기반 조작 작업, 특히 그립 작업의 재현 가능한 벤치마킹을 가능하게 하는 것.
• 모듈러하고 자가 포함된 설계를 통해 스케일링 가능한 병렬 학습을 지원하는 것.
• 다양한 조명 조건과 배경 조건에서의 공동체 기반 데이터 수집과 모델 일반화를 촉진하는 것.
• 로봇 학습 분야에서 공유 소프트웨어 구현, 미리 학습된 모델, 표준화된 평가 프로토콜의 기반을 마련하는 것.

제안 방법

• 저비용 상용 로봇 암(WidowX)과 RGBD 카메라를 사용하여 크기 70x40x60 cm인 컴act하고 자가 포함된 로봇 워크셀 설계 및 제작.
• 완전한 재현성을 보장하기 위해 표준화된 조립 지침, 코드, 데이터 수집 파이프라인 개발.
• 로봇 그립 작업을 위한 벤치마킹 템플릿 제작: 작업 정의, 평가 프로토콜, 성능 지표, 92,000회의 그립 시도 데이터셋 포함.
• REPLAB 플랫폼에서 여러 기존 그립 방법(pinto2016, DQN 기반 등)의 구현 및 평가를 통해 성능 기준 설정.
• TD3 강화학습 알고리즘을 3차원 도달 작업에 적용하고, 전체 학습 및 평가를 REPLAB 하드웨어에서 수행.
• 모델 일반화와 데이터 효율성을 평가하기 위해 데이터 부트래킹 연구 및 커리큘럼 기반 데이터 수집 전략 설계.

실험 결과

연구 질문

• RQ1 저비용, 표준화된 로봇 플랫폼이 다양한 연구소 간에 일관되고 재현 가능한 시각 기반 조작 알고리즘의 벤치마킹을 가능하게 할 수 있는가?
• RQ2 제한된 하드웨어 변동성이 있는 실세계의 저비용 로봇 플랫폼에서 기존의 그립 알고리즘이 어떻게 성능을 내는가?
• RQ3 강화학습 알고리즘이 저비용, 확장 가능한 로봇 워크셀에서 높은 정밀도 제어(예: 1cm 이내 도달)를 얼마나 잘 달성할 수 있는가?
• RQ4 데이터셋의 크기와 다양성이 새로운 물체와 조건에서 학습 기반 그립 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ5 이 플랫폼이 동일한 셀을 다수 병렬로 사용하여 강화학습 알고리즘의 확장 가능한 병렬 학습을 지원할 수 있는가?

주요 결과

• REPLAB 플랫폼은 TD3 강화학습 알고리즘을 사용해 약 24시간(25개 이하의 학습 에포크 내)에 3차원 도달 성능이 1cm 이내로 달성되어 RL 연구에 대한 실현 가능성을 입증했다.
• 기존의 그립 방법(pinto2016 포함)은 1개의 물체당 40회 이상의 시도가 필요로 하여 일반화 능력과 샘플 효율성 향상의 여지가 크다는 점을 시사했다.
• 데이터 부트래킹 연구 결과, 80,000개의 학습 그립 시도 이후에는 본문에서 본 물체에 대한 모델 정확도가 약 65%에 포화 상태에 도달함을 확인하여, 이 이상의 데이터 양에서는 수익 감소 현상이 나타남을 보여주었다.
• 92,000개의 그립 데이터셋을 통해 기준 성능 평가가 가능해졌으며, 80,000개의 학습 샘플을 사용해 보존된 본문에서 본 물체에 대해 검증 정확도가 64.8%에 도달했다.
• 미리 학습된 그립 모델은 새로운 REPLAB 셀에서 다른 조명 조건과 배경 조건을 고려해 보정하기 위해 약 4,000개의 새로운 학습 샘플(1.5일)이 필요함을 확인하여, 더 다양한 데이터로 학습할 필요성이 높다는 점을 시사했다.
• 플랫폼은 확장 가능한 병렬 학습을 지원하며, 공유된 코드, 데이터 수집 스크립트, 표준화된 평가 프로토콜을 통해 공동체 기여를 가능하게 한다.