[论文解读] A Self-supervised Learning System for Object Detection using Physics Simulation and Multi-view Pose Estimation

Chaitanya Mitash, Kostas E. Bekris+1 more|arXiv (Cornell University)|Mar 9, 2017

Advanced Neural Network Applications被引用 11

一句话总结

该论文提出了一种自监督学习系统，结合基于物理的仿真以生成逼真的合成数据，并利用多视角姿态估计自动标注真实图像，显著提升了在杂乱机器人环境中的目标检测与6自由度（6DoF）姿态估计性能。该方法在基线真实数据训练基础上实现了12%的性能提升，并在姿态估计精度上比当前最先进系统高出25%。

ABSTRACT

Progress has been achieved recently in object detection given advancements in deep learning. Nevertheless, such tools typically require a large amount of training data and significant manual effort to label objects. This limits their applicability in robotics, where solutions must scale to a large number of objects and variety of conditions. This work proposes an autonomous process for training a Convolutional Neural Network (CNN) for object detection and pose estimation in robotic setups. The focus is on detecting objects placed in cluttered, tight environments, such as a shelf with multiple objects. In particular, given access to 3D object models, several aspects of the environment are physically simulated. The models are placed in physically realistic poses with respect to their environment to generate a labeled synthetic dataset. To further improve object detection, the network self-trains over real images that are labeled using a robust multi-view pose estimation process. The proposed training process is evaluated on several existing datasets and on a dataset collected for this paper with a Motoman robotic arm. Results show that the proposed approach outperforms popular training processes relying on synthetic - but not physically realistic - data and manual annotation. The key contributions are the incorporation of physical reasoning in the synthetic data generation process and the automation of the annotation process over real images.

研究动机与目标

• 通过自动化数据生成与标注，减少在机器人目标检测深度学习模型训练中的手动标注工作量。
• 通过使用物理引擎生成具有物理真实感的合成数据，提升目标检测器的泛化能力。
• 通过利用多视角的高置信度检测结果对真实图像进行标注，实现持续学习（lifelong learning）。
• 通过结合模拟训练与真实世界自标注，提升在杂乱场景中6DoF姿态估计的准确性。
• 通过基于物理的场景生成与鲁棒的多视角姿态估计，最小化合成数据与真实数据之间的域偏移。

提出的方法

• 使用物理引擎在置物架或桌面上模拟物体的放置，确保在重力与接触力作用下具有逼真的姿态与遮挡效果。
• 使用已知相机位姿进行透视投影渲染，生成用于训练Faster-RCNN的2D边界框标注。
• 部署机械臂采集同一场景的多个视角图像，利用训练好的检测器以高置信度估计物体姿态。
• 将估计的3D姿态投影回2D图像平面，从具有挑战性的视角生成真实图像的精确边界框标注。
• 将自动标注的真实图像增量式地加入训练数据集，并在持续学习循环中重新训练Faster-RCNN。
• 应用模型配准技术（PCA + ICP、Super4PCS、fast-global-registration）评估并优化6DoF姿态估计性能。

实验结果

研究问题

• RQ1 基于物理的仿真能否提升合成数据在杂乱机器人环境中的真实感与泛化能力？
• RQ2 机器人机械臂的多视角姿态估计在多大程度上可实现无需人工标注的真实图像自动标注？
• RQ3 将自标注的真实图像整合到模拟训练流程中，如何提升检测与姿态估计性能？
• RQ4 所提出的自监督系统能否在性能上超越仅使用合成数据训练与大规模人工标注真实数据的基线方法？
• RQ5 在真实世界测试数据下，该系统在6DoF姿态估计方面的性能与当前最先进方法相比如何？

主要发现

• 在使用自标注的真实图像重新训练后，该系统在目标检测准确率上实现了12%的性能提升。
• 在Shelf&Tote数据集的15,000张人工标注真实图像基线基础上，该系统在6DoF姿态估计成功率上高出25%。
• 采用所提出的训练流程，姿态估计在PCA + ICP下实现了8.50°的平均旋转误差与0.03m的平移误差，优于以往方法。
• 使用物理仿真数据与自标注真实数据训练的检测器在新视角下泛化良好，提升了检测精度与鲁棒性。
• 在指定指标（5cm平移误差，15°旋转误差）下，系统在6DoF姿态估计中达到79.4%的成功率，优于使用背景剔除的真实数据训练的方法。
• 利用多视角的高置信度检测结果，实现了真实图像的可靠自标注，显著降低了对人工标注的依赖。