[论文解读] A Dataset for Improved RGBD-based Object Detection and Pose Estimation for Warehouse Pick-and-Place

Colin Rennie, Rahul Shome+2 more|arXiv (Cornell University)|Sep 3, 2015

Robotics and Sensor-Based Localization参考文献 20被引用 7

一句话总结

本论文提出一个大规模、公开可用的RGBD数据集，包含10,000多张已配准的彩色与深度图像，以及亚马逊拣选挑战赛（Amazon Picking Challenge）中24种物体的精确6DOF真实位姿。该数据集专为仓库抓取与放置任务设计，捕捉了杂乱、遮挡、反光表面和低光照等具有挑战性的条件，通过控制视角、噪声和物体配置的变化，支持对基于RGBD的物体检测与位姿估计算法进行稳健评估与改进。

ABSTRACT

An important logistics application of robotics involves manipulators that pick-and-place objects placed in warehouse shelves. A critical aspect of this task corre- sponds to detecting the pose of a known object in the shelf using visual data. Solving this problem can be assisted by the use of an RGB-D sensor, which also provides depth information beyond visual data. Nevertheless, it remains a challenging problem since multiple issues need to be addressed, such as low illumination inside shelves, clutter, texture-less and reflective objects as well as the limitations of depth sensors. This paper provides a new rich data set for advancing the state-of-the-art in RGBD- based 3D object pose estimation, which is focused on the challenges that arise when solving warehouse pick- and-place tasks. The publicly available data set includes thousands of images and corresponding ground truth data for the objects used during the first Amazon Picking Challenge at different poses and clutter conditions. Each image is accompanied with ground truth information to assist in the evaluation of algorithms for object detection. To show the utility of the data set, a recent algorithm for RGBD-based pose estimation is evaluated in this paper. Based on the measured performance of the algorithm on the data set, various modifications and improvements are applied to increase the accuracy of detection. These steps can be easily applied to a variety of different methodologies for object pose detection and improve performance in the domain of warehouse pick-and-place.

研究动机与目标

• 解决当前缺乏用于评估仓库环境中基于RGBD的物体位姿估计的现实、大规模数据集的问题。
• 提供一个基准数据集，以捕捉真实世界中的挑战，如杂乱、遮挡、反光和无纹理物体，以及低光照条件。
• 使研究人员能够在视角、噪声和物体配置的受控变化下评估并改进位姿估计算法。
• 支持在半结构化、受限的仓库货架环境中，为机器人抓取与放置任务开发鲁棒的感知系统。
• 通过提供丰富且带注释的数据，包含多视角图像和重复样本以供噪声分析，促进对传统方法与基于学习方法的评估。

提出的方法

• 从三个不同的相机视角（左、中、右）相对于货架托盘采集超过10,000张已配准的RGB和深度图像。
• 在12个托盘中记录来自亚马逊拣选挑战赛的24种物体的6DOF真实位姿，涵盖完整的空间与时间变化。
• 通过在托盘中放置额外物体与目标物体共存，引入受控的杂乱情况，以模拟真实仓库环境。
• 为每种配置采集四组重复样本，以建模来自Kinect v1传感器的噪声，从而实现对时间变化下鲁棒性的分析。
• 将所有物体到基座的变换存储在真实位姿文件中，便于直接扩展至多物体位姿估计与三维重建任务。
• 提供开源软件工具用于数据集集成，支持与现有算法（如LINEMOD框架）无缝集成。

实验结果

研究问题

• RQ1 在包含遮挡、杂乱和传感器噪声的真实仓库条件下，常见的基于RGBD的位姿估计算法表现如何？
• RQ2 哪些物体类型（例如反光、无纹理、透明物体）在受限货架环境中对基于RGBD的位姿估计构成最大挑战？
• RQ3 视角变化与部分遮挡在多大程度上影响位姿估计算法的准确性？
• RQ4 是否可以利用一个受控且丰富的数据集，系统性地推导并验证算法改进措施（如位姿假设聚合或噪声过滤）？
• RQ5 该数据集在支持多物体位姿估计与三维重建技术的评估与开发方面有多高效？

主要发现

• 基于LINEMOD的算法在桌面设置中表现良好，但在仓库环境下性能显著下降，尤其在反光和无纹理物体上。
• 该数据集表明，反光和透明物体在标准RGBD流水线中持续被误检或误定位，凸显了现有方法的关键局限性。
• 货架结构引起的视角变化与部分遮挡显著降低了位姿估计的准确性，尤其当目标物体从侧面或边缘视角观察时。
• 在相同条件下重复采样显示，Kinect v1传感器引入的噪声导致位姿估计方差显著增加，尤其对小尺寸或低对比度物体影响更大。
• 该数据集有助于识别算法故障模式，并支持针对性的算法改进，如噪声过滤与位姿聚合，从而提升真实场景下的鲁棒性。
• 多物体配置的引入使得3D重建与联合位姿估计可直接评估，证明了该数据集在单物体检测之外的广泛实用性。