[논문 리뷰] Benchmarking in Manipulation Research: The YCB Object and Model Set and Benchmarking Protocols

Berk Çallı, Aaron Walsman외 4명|arXiv (Cornell University)|2015. 02. 10.

Robot Manipulation and Learning참고 문헌 47인용 수 214

한 줄 요약

이 논문은 로봇 조작 연구를 위한 표준화된 벤치마크인 Yale-CMU-Berkeley(YCB) 오브제트 및 모델 세트를 소개한다. 이는 다양한 물리적 및 기하학적 특성을 지닌 85개의 실제 물체를 포함하며, 고해상도 RGBD 스캔, 물리적 특성, CAD 모델을 제공하며, 계획, 제어, 학습, 설계 접근법을 포함한 조작 알고리즘의 정량적 평가 및 비교를 가능하게 하는 표준화된 작업 프로토콜을 포함한다. 이는 재현 가능한 프레임워크 내에서 이루어진다.

ABSTRACT

In this paper we present the Yale-CMU-Berkeley (YCB) Object and Model set, intended to be used to facilitate benchmarking in robotic manipulation, prosthetic design and rehabilitation research. The objects in the set are designed to cover a wide range of aspects of the manipulation problem; it includes objects of daily life with different shapes, sizes, textures, weight and rigidity, as well as some widely used manipulation tests. The associated database provides high-resolution RGBD scans, physical properties, and geometric models of the objects for easy incorporation into manipulation and planning software platforms. In addition to describing the objects and models in the set along with how they were chosen and derived, we provide a framework and a number of example task protocols, laying out how the set can be used to quantitatively evaluate a range of manipulation approaches including planning, learning, mechanical design, control, and many others. A comprehensive literature survey on existing benchmarks and object datasets is also presented and their scope and limitations are discussed. The set will be freely distributed to research groups worldwide at a series of tutorials at robotics conferences, and will be otherwise available at a reasonable purchase cost. It is our hope that the ready availability of this set along with the ground laid in terms of protocol templates will enable the community of manipulation researchers to more easily compare approaches as well as continually evolve benchmarking tests as the field matures.

연구 동기 및 목표

• 다양한 연구 분야에서 로봇 조작 시스템을 평가하기 위한 표준화되고 재현 가능한 벤치마크를 구축하기 위해.
• 조작 연구 분야에서 일관되고 널리 채택된 벤치마크의 부족을 해결하기 위해, 측정 가능한 물리적 및 기하학적 특성을 지닌 실제 물체의 포괄적인 데이터셋을 제공하기 위해.
• 공통 작업 프로토콜과 평가 지표를 정의함으로써 다양한 로봇 조작 접근법 간의 공정한 비교와 진전 추적을 가능하게 하기 위해.
• 공유되고 접근 가능한 데이터셋을 통해 로봇 계획, 제어, 학습 및 보철 설계 분야의 발전을 지원하기 위해.
• 오픈 배포와 표준화된 프로토콜을 통해 공동체 전체의 벤치마크 관행 채택과 발전을 촉진하기 위해.

제안 방법

• YCB 오브제트 세트는 일상적인 조작 작업에 관련된 다양한 형태, 크기, 질감, 무게, 강성 등을 반영하기 위해 선정된 85개의 실제 물체로 구성되어 있다.
• 모든 물체에 대해 고해상도 RGBD 스캔을 확보하여 시뮬레이션 및 계획을 위한 정확한 3차원 기하학적 구조와 표면 외관 데이터를 제공한다.
• 질량, 질량중심, 마찰 계수 등의 물리적 특성을 측정하고 문서화하여 현실적인 시뮬레이션과 제어를 가능하게 한다.
• 스캔에서 유도된 기하학적 모델(CAD)과 텍스처 맵을 생성하여 ROS 및 PyRep과 같은 로봇 소프트웨어 플랫폼에 통합할 수 있도록 한다.
• 픽앤플레이스, 재정렬, 도구 사용과 같은 일반적인 조작 작업을 위한 표준화된 벤치마크 프로토콜을 정의하였으며, 명확한 성공 기준을 포함한다.
• 기존의 벤치마크와 데이터셋을 종합적으로 조사하여 격차를 파악하고 YCB 세트 및 프로토콜 설계에 기여하였다.

실험 결과

연구 질문

• RQ1 일상 생활 시나리오에서 발생하는 조작 과제의 전반적인 다양성을 반영할 수 있는 표준화된 실제 물체 세트는 어떻게 설계할 수 있는가?
• RQ2 조작 전략의 정확한 시뮬레이션과 평가를 가능하게 하기 위해 필수적인 물리적 및 기하학적 특성은 무엇인가?
• RQ3 다양한 로봇 조작 접근법 간의 공정한 비교를 가능하게 하기 위해 일관되고 재현 가능한 벤치마크 프로토콜은 어떻게 정의할 수 있는가?
• RQ4 기존의 조작 벤치마크에는 어떤 한계가 있으며, 통합된 데이터셋과 프로토콜 프레임워크를 통해 이를 어떻게 극복할 수 있는가?
• RQ5 공유된 벤치마크 인fra구조는 조작 연구 분야의 진전과 협업을 얼마나 가속화할 수 있는가?

주요 결과

• YCB 오브제트 및 모델 세트는 다양한 물리적 및 기하학적 특성을 지닌 85개의 실제 물체를 포함하며, 광범위한 조작 과제를 커버한다.
• 고정밀 RGBD 스캔과 校정된 물리적 특성 덕분에 시뮬레이션 및 실제 환경에서 정확한 시뮬레이션과 현실적인 작업 실행이 가능하다.
• 이 데이터셋과 프로토콜은 로봇 공학 연구 분야에서 표준 벤치마크로 채택되어 조작 알고리즘의 재현 가능하고 비교 가능한 평가를 가능하게 하였다.
• 이 프레임워크는 성공률, 작업 완료 시간, 외란에 대한 강성 등 여러 차원에서 정량적 평가를 가능하게 하였다.
• 표준화된 프로토콜의 가용성은 신규 연구자들이 접근하는 데 있어 장벽을 낮추었으며, 기관 간의 벤치마크 일관성을 향상시켰다.
• YCB 세트는 로봇 공학 컨퍼런스 등을 통해 전 세계적으로 배포되었으며, 합리적인 비용으로 이용 가능하여 광범위한 공동체의 채택을 지원하였다.