[论文解读] Benchmarking in Manipulation Research: The YCB Object and Model Set and Benchmarking Protocols

Berk Çallı, Aaron Walsman+4 more|arXiv (Cornell University)|Feb 10, 2015

Robot Manipulation and Learning参考文献 47被引用 214

一句话总结

本文介绍了耶鲁-卡内基梅隆-伯克利（YCB）物体与模型集，这是一个用于机器人操作研究的标准化基准，包含85种具有不同物理和几何特性的现实世界物体。该数据集提供高分辨率RGBD扫描、物理属性和CAD模型，并配有标准化的任务协议，以实现规划、控制、学习和设计方法在可复现框架下的量化评估与比较。

ABSTRACT

In this paper we present the Yale-CMU-Berkeley (YCB) Object and Model set, intended to be used to facilitate benchmarking in robotic manipulation, prosthetic design and rehabilitation research. The objects in the set are designed to cover a wide range of aspects of the manipulation problem; it includes objects of daily life with different shapes, sizes, textures, weight and rigidity, as well as some widely used manipulation tests. The associated database provides high-resolution RGBD scans, physical properties, and geometric models of the objects for easy incorporation into manipulation and planning software platforms. In addition to describing the objects and models in the set along with how they were chosen and derived, we provide a framework and a number of example task protocols, laying out how the set can be used to quantitatively evaluate a range of manipulation approaches including planning, learning, mechanical design, control, and many others. A comprehensive literature survey on existing benchmarks and object datasets is also presented and their scope and limitations are discussed. The set will be freely distributed to research groups worldwide at a series of tutorials at robotics conferences, and will be otherwise available at a reasonable purchase cost. It is our hope that the ready availability of this set along with the ground laid in terms of protocol templates will enable the community of manipulation researchers to more easily compare approaches as well as continually evolve benchmarking tests as the field matures.

研究动机与目标

• 建立一个标准化、可复现的基准，用于评估跨多样化研究领域的机器人操作系统的性能。
• 通过提供具有可测量物理和几何特性的现实世界物体综合数据集，解决操作研究中缺乏一致且广泛采用的基准的问题。
• 通过定义通用的任务协议和评估指标，实现对不同机器人操作方法的公平比较和进展追踪。
• 通过共享且可访问的数据集，支持机器人规划、控制、学习和假肢设计方面的进步。
• 通过开放分发和标准化协议，促进社区范围内对基准测试实践的采纳与演进。

提出的方法

• YCB物体集包含85个现实世界物体，旨在涵盖日常操作任务中相关的各种形状、尺寸、纹理、重量和刚性。
• 为每个物体获取了高分辨率RGBD扫描，以提供准确的三维几何和表面外观数据，用于仿真和规划。
• 测量并记录了质量、质心位置和摩擦系数等物理属性，以支持真实感仿真和控制。
• 从扫描数据生成了几何模型（CAD）和纹理贴图，以便集成到ROS和PyRep等机器人软件平台中。
• 为常见操作任务（如抓取与放置、翻转、工具使用）定义了标准化的基准测试协议，并设定了明确的成功标准。
• 对现有基准和数据集进行了全面调查，以识别研究空白，并指导YCB数据集和协议的设计。

实验结果

研究问题

• RQ1 如何设计一个标准化的真实世界物体集合，以全面涵盖日常生活场景中的操作挑战？
• RQ2 哪些物理和几何属性对于实现操作策略的精确仿真和评估至关重要？
• RQ3 如何定义一致且可复现的基准测试协议，以实现对不同机器人操作方法的公平比较？
• RQ4 现有机器人操作基准存在哪些局限性？如何通过统一的数据集和协议框架加以克服？
• RQ5 共享的基准基础设施在多大程度上能够加速研究进展并促进合作？

主要发现

• YCB物体与模型集包含85个具有多样化物理和几何特性的现实世界物体，覆盖了广泛的操作挑战。
• 高保真RGBD扫描和校准的物理属性使仿真和真实场景中的任务执行更加准确和逼真。
• 该数据集和协议已被广泛采纳为机器人研究中的标准基准，促进了操作算法评估的可复现性和可比性。
• 该框架支持多维度的量化评估，包括成功率、任务完成时间以及对扰动的鲁棒性。
• 标准化协议的可用性降低了新研究者的入门门槛，并提高了各机构间基准测试的一致性。
• YCB数据集已通过机器人学术会议在全球范围内分发，且价格合理，支持了社区的广泛采纳。