[论文解读] Latest Datasets and Technologies Presented in the Workshop on Grasping and Manipulation Datasets

Matteo Bianchi, Jeannette Bohg+1 more|arXiv (Cornell University)|Sep 8, 2016

Robot Manipulation and Learning参考文献 17被引用 3

一句话总结

本文总结了2016年抓取与操作数据集研讨会，重点介绍了机器人抓取与操作领域开放获取数据集的最新进展。文章介绍了YCB、Dex-Net和HandCorpus等关键数据集，并强调了标准化、高质量、多模态数据集的必要性，以实现基准测试、提升学习效果，并加速机器人领域的发展。

ABSTRACT

This paper reports the activities and outcomes in the Workshop on Grasping and Manipulation Datasets that was organized under the International Conference on Robotics and Automation (ICRA) 2016. The half day workshop was packed with nine invited talks, 12 interactive presentations, and one panel discussion with ten panelists. This paper summarizes all the talks and presentations and recaps what has been discussed in the panels session. This summary servers as a review of recent developments in data collection in grasping and manipulation. Many of the presentations describe ongoing efforts or explorations that could be achieved and fully available in a year or two. The panel discussion not only commented on the current approaches, but also indicates new directions and focuses. The workshop clearly displayed the importance of quality datasets in robotics and robotic grasping and manipulation field. Hopefully the workshop could motivate larger efforts to create big datasets that are comparable with big datasets in other communities such as computer vision.

研究动机与目标

• 回顾并整合机器人抓取与操作研究领域开放获取数据集的最新进展。
• 识别数据采集、标准化和基准测试中的关键需求，以提升机器人研究的可复现性和可比性。
• 推动大规模、多模态、一致的数据集的创建，使其可与计算机视觉领域的数据集相媲美。
• 应对数据可及性、硬件成本，以及机器人系统中感知、控制与学习模块集成方面的挑战。
• 激发社区范围内的数据集开发协作，促进机器人领域长期的数据共享实践。

提出的方法

• 汇编并综合2016年ICRA抓取与操作数据集研讨会的九场特邀报告和十二场互动展示。
• 从物体几何、触觉传感、人体运动、器械交互和机器人操作等多个领域整理数据集。
• 展示并分析关键数据集，如YCB（耶鲁-卡内基梅隆-伯克利）、Dex-Net（基于云的3D物体网络）和HandCorpus（用于手部运动与抓取数据的开放获取存储库）。
• 评估RGBD、力/扭矩、触觉反馈和动作捕捉等传感模态在数据采集与基准测试中的应用。
• 讨论标准化测试环境与协议，以实现可复现的评估，并减少基准测试中的过拟合问题。
• 提出一种模块化系统评估框架，包含速度、学习效率和故障报告等指标，以提升透明度与进展追踪能力。

实验结果

研究问题

• RQ1 开放获取、高质量的数据集如何提升机器人抓取与操作研究中的基准测试与可复现性？
• RQ2 在涉及触觉、力和运动数据的机器人操作中，大规模、多模态数据集的采集面临哪些关键挑战？
• RQ3 标准化测试环境与协议如何减少过拟合并提升机器人系统评估的泛化能力？
• RQ4 基于云的数据集与共享存储库（如HandCorpus、Dex-Net）在促进机器人学习数据的民主化访问中发挥什么作用？
• RQ5 模块化系统评估与基线架构如何帮助将复杂机器人系统中的进展归因于特定组件？

主要发现

• YCB物体与模型集提供了一个标准化基准，包含85个物体，涵盖RGBD扫描、物理属性和几何模型，适用于规划与控制研究。
• Dex-Net通过基于云的3D物体网络，提供超过10万个合成抓取配置，支持通过深度学习实现稳健的抓取规划。
• HandCorpus是一个开放获取、无需登录的存储库，汇集了多样化的人类与机器人手部运动数据，统一了格式与模态各异的数据集。
• KIT全身人体运动数据库提供了高保真、多视角的RGBD人体运动记录，支持人机交互与模仿学习研究。
• 当前趋势是自动化数据采集，并整合触觉、力和摩擦数据，以提升抓取稳定性评估与机器人学习效果。
• 尽管已取得进展，但创建大规模、一致且多模态的数据集仍面临挑战，社区在数据采集、共享与评估方面仍缺乏统一标准。