[论文解读] BOP: Benchmark for 6D Object Pose Estimation

Tomáš Hodaň, Frank Michel+14 more|arXiv (Cornell University)|Aug 24, 2018

Robotics and Sensor-Based Localization参考文献 27被引用 37

一句话总结

本文提出了BOP，一个基于RGB-D图像的6D物体位姿估计综合基准，统一了八个不同的数据集，并采用标准化评估方法。研究发现基于点对特征的方法为当前最先进方法，优于模板匹配、基于学习以及3D局部特征方法，同时指出了遮挡、光照变化和对称性作为主要挑战。

ABSTRACT

We propose a benchmark for 6D pose estimation of a rigid object from a single RGB-D input image. The training data consists of a texture-mapped 3D object model or images of the object in known 6D poses. The benchmark comprises of: i) eight datasets in a unified format that cover different practical scenarios, including two new datasets focusing on varying lighting conditions, ii) an evaluation methodology with a pose-error function that deals with pose ambiguities, iii) a comprehensive evaluation of 15 diverse recent methods that captures the status quo of the field, and iv) an online evaluation system that is open for continuous submission of new results. The evaluation shows that methods based on point-pair features currently perform best, outperforming template matching methods, learning-based methods and methods based on 3D local features. The project website is available at bop.felk.cvut.cz.

研究动机与目标

• 建立一个统一的6D物体位姿估计基准，以解决先前数据集存在的固定光照和缺乏遮挡等问题。
• 在包括光照变化、遮挡、对称性和反光表面在内的多样化真实场景中实现评估标准化。
• 通过考虑位姿模糊性的位姿误差函数，对15种近期方法进行全面且可复现的评估。
• 通过面向新提交的在线评估系统，实现对持续进展的跟踪。
• 识别当前位姿估计中持久存在的挑战，如遮挡、光照变化以及对称物体识别问题。

提出的方法

• 该基准将八个数据集统一为单一格式，包含89个带纹理的3D物体模型、277,000张训练RGB-D图像以及62,000个复杂测试场景。
• 提出一种位姿误差函数，可处理对称或部分遮挡物体中的位姿模糊性，相比先前度量方式更具公平性。
• 评估采用标准化协议：方法在未见场景中进行测试，使用真实位姿进行评估，结果通过在特定阈值下的召回率进行评分。
• 位于 bop.felk.cvut.cz 的在线评估系统允许研究人员提交结果并访问实时排行榜。
• 在不同位姿错位容忍度（τ）和正确性阈值（θ）下评估方法，所有数据集的得分均被报告。
• 该基准新增了两个数据集——TUD-L 和 TYO-L，专门用于测试在不同光照条件下的鲁棒性。

实验结果

研究问题

• RQ1 在包含遮挡、光照变化和对称物体等多样化真实场景中，哪些6D位姿估计方法表现最佳？
• RQ2 所提出的位姿误差函数相比先前度量方式，在评估具有模糊性或对称性的物体时，如何提升公平性和准确性？
• RQ3 基于学习的方法和基于3D局部特征的方法在低可见度或反光表面等挑战性条件下，其泛化能力如何？
• RQ4 不同训练数据模态（合成RGB图像与真实RGB图像）对在不同光照条件下鲁棒性的影响有多大？
• RQ5 当前方法的主要失败模式是什么？哪些因素——如遮挡、对称性或深度噪声——最显著地降低性能？

主要发现

• 基于点对特征的方法表现最佳，其中Vidal-18在τ=20 mm和θ=0.3时达到74.6%的平均召回率。
• 模板匹配方法（Hodaň-15）和Drost-10方法分别位列第二和第三，平均召回率超过67%，表明非学习方法具有强大性能。
• 基于学习的方法（如Brachmann-16）平均召回率为55.4%，而基于3D局部特征的方法（如Buch-17-ppfh）达到54.0%，表明其在对称性和遮挡下鲁棒性较低。
• 在遮挡条件下性能显著下降，LM-O（遮挡物体）的得分比LM（非遮挡）至少低30%，证实遮挡是主要挑战。
• 依赖合成RGB图像训练数据的方法在TUD-L（光照变化）上表现失败，而使用真实图像训练的方法（如Brachmann-16）保持高性能，证明光照鲁棒性取决于数据多样性。
• RU-APC得分最低，可能由于深度噪声过高；T-LESS在3D局部特征和基于学习的方法上得分较低，表明其对对称和相似物体的处理能力差。