[논문 리뷰] OCRTOC: A Cloud-Based Competition and Benchmark for Robotic Grasping and Manipulation

Ziyuan Liu, Wei Liu외 9명|arXiv (Cornell University)|2021. 04. 23.

Robot Manipulation and Learning참고 문헌 30인용 수 6

한 줄 요약

OCRTOC는 로봇 잡기 및 조작을 위한 클라우드 기반 벤치마크이자 경쟁 대회를 제공하여, 동일한 실제 로봇 하드웨어에서 표준화된 테이블 정리 작업을 원격으로 실행할 수 있도록 한다. 이는 시뮬레이션과 실제 환경에서 모두 자동 평가 점수를 부여함으로써 공정하고 재현 가능한 성능 평가를 가능하게 하며, 2020년 IROS 대회에 59개 팀이 참가했고, 2021년에는 기본 솔루션, 새로운 7축 로봇, 더 현실적인 작업이 계획되어 있다.

ABSTRACT

In this paper, we propose a cloud-based benchmark for robotic grasping and manipulation, called the OCRTOC benchmark. The benchmark focuses on the object rearrangement problem, specifically table organization tasks. We provide a set of identical real robot setups and facilitate remote experiments of standardized table organization scenarios in varying difficulties. In this workflow, users upload their solutions to our remote server and their code is executed on the real robot setups and scored automatically. After each execution, the OCRTOC team resets the experimental setup manually. We also provide a simulation environment that researchers can use to develop and test their solutions. With the OCRTOC benchmark, we aim to lower the barrier of conducting reproducible research on robotic grasping and manipulation and accelerate progress in this field. Executing standardized scenarios on identical real robot setups allows us to quantify algorithm performances and achieve fair comparisons. Using this benchmark we held a competition in the 2020 International Conference on Intelligence Robots and Systems (IROS 2020). In total, 59 teams took part in this competition worldwide. We present the results and our observations of the 2020 competition, and discuss our adjustments and improvements for the upcoming OCRTOC 2021 competition. The homepage of the OCRTOC competition is www.ocrtoc.org, and the OCRTOC software package is available at https://github.com/OCRTOC/OCRTOC_software_package.

연구 동기 및 목표

• 연구자들이 표준화된 실제 로봇 하드웨어에 원격으로 접근할 수 있도록 하여 로봇 조작 연구의 진입 장벽을 낮추기 위해.
• 다양한 연구 팀 간의 잡기 및 조작 알고리즘 평가를 위한 공정하고 재현 가능한 기준을 설정하기 위해.
• 일致된 작업과 지표를 제공하는 공통 평가 플랫폼을 통해 로봇 조작 분야의 진전을 가속화하기 위해.
• 동일한 하드웨어 환경에서 시뮬레이션과 실제 세계 테스트를 통해 강력하고 종단 간 솔루션의 개발을 지원하기 위해.
• 표준화되고 실제 세계와 관련성이 있는 작업을 바탕으로 연간 대회를 통해 공동체 참여를 촉진하기 위해.

제안 방법

• OCRTOC 벤치마크는 동일한 실제 로봇 설정(Panda 7축 조작자, 힘 피드백 장착)을 클라우드 기반 인fra에서 호스팅하여 원격으로 테이블 정리 작업을 실행한다.
• 연구자들은 자신의 코드를 클라우드 서버에 업로드하며, 이는 시뮬레이션과 실제 로봇 하드웨어에서 모두 실행되며 자동으로 성능 점수가 매겨진다.
• 표준화된 소프트웨어 스택이 제공되며, 이에는 물체 자세 추정을 위한 인식 모듈, 포인트 클라우드에서의 종단 간 잡기, 그리고 PDDLStream를 사용한 고수준 계획 모듈이 포함되어 있다.
• 벤치마크에는 76개의 장면을 포함한 레이블이 부여된 실제 세계 데이터셋이 포함되어 있으며, 이는 6004장의 RGB-D 이미지, 프레임당 30,000개의 6차원 물체 자세, 33개 물체의 텍스처가 적용된 3D 메시 모델을 포함한다.
• 시스템은 시뮬레이션과 실제 세계 평가를 모두 지원하여 알고리즘 성능이 동일하고 재현 가능한 조건에서 테스트되도록 보장한다.
• 2021년에는 기본 솔루션(인식, 계획, 궤적 생성 모듈 포함)이 제공되어 신규 참가자의 진입 장벽을 낮춘다.

실험 결과

연구 질문

• RQ1 동일한 실제 로봇 하드웨어를 사용하는 클라우드 기반 벤치마크가 다양한 연구 팀 간의 로봇 조작 알고리즘 평가를 공정하고 재현 가능하게 할 수 있는가?
• RQ2 최신 기술 알고리즘은 표준화된 실제 세계 테이블 정리 작업(물체 재배치 포함)에서 어떻게 성능을 내는가?
• RQ3 기본 솔루션과 레이블이 부여된 학습 데이터를 제공함으로써 로봇 조작 대회 참가율과 성능에 어떤 영향을 미치는가?
• RQ4 통합된 벤치마크 프레임워크 내에서 시뮬레이션 기반 개발과 실제 세계 검증을 얼마나 효과적으로 통합할 수 있는가?
• RQ5 참가자를 최대한 유치하면서도 엄격한 평가 기준을 유지하기 위해 대회 설계를 어떻게 최적화할 수 있는가?

주요 결과

• OCRTOC 벤치마크는 2020년 IROS 대회에서 5개 대륙에서 온 59개 팀이 참가하여 표준화된 로봇 조작 평가에 대한 강력한 글로벌 관심을 보였다.
• 대회는 물체 재배치 작업이 인식, 잡기, 운동 계획 능력의 통합이 필요한 도전적인 과제임을 드러냈다.
• 기본 솔루션과 레이블이 부여된 데이터셋을 제공함으로써, 이전에 로봇 하드웨어나 광범위한 데이터 수집 경험이 없는 팀들도 참가할 수 있는 진입 장벽이 크게 낮아졌다.
• 2021년에 7축 Panda 로봇을 사용하여 힘 피드백을 제공함으로써, 2020년의 6축 설정 대비 더 현실적이고 제어 정밀도가 향상된 벤치마크가 되었다.
• 2021년에 월간 제출 형식으로 전환되어 일정에 제약이 있는 팀들이 참여할 수 있도록 해, 참가율 증가가 예상된다.
• 벤치마크의 이중 평가 파이프라인(시뮬레이션 → 실제 세계 실행)은 모든 제출물에 대해 일관되고 신뢰성 있으며 재현 가능한 성능 측정을 보장했다.