[论文解读] Deep Learning of Local RGB-D Patches for 3D Object Detection and 6D Pose Estimation

Wadim Kehl, Fausto Milletarì+3 more|arXiv (Cornell University)|Jul 20, 2016

Robotics and Sensor-Based Localization参考文献 25被引用 29

一句话总结

本文提出一种基于深度学习的6D物体检测与位姿估计方法，利用局部RGB-D图像块进行检测，其中卷积自编码器从真实场景图像块中回归出具有区分性的描述子。这些描述子与合成模型图像块的码本进行匹配，以投射6D位姿投票，从而在遮挡和杂乱环境下实现高召回率和鲁棒性，在检测精度和可扩展性方面优于当前最先进方法。

ABSTRACT

We present a 3D object detection method that uses regressed descriptors of locally-sampled RGB-D patches for 6D vote casting. For regression, we employ a convolutional auto-encoder that has been trained on a large collection of random local patches. During testing, scene patch descriptors are matched against a database of synthetic model view patches and cast 6D object votes which are subsequently filtered to refined hypotheses. We evaluate on three datasets to show that our method generalizes well to previously unseen input data, delivers robust detection results that compete with and surpass the state-of-the-art while being scalable in the number of objects.

研究动机与目标

• 解决在杂乱和遮挡场景中使用RGB-D数据进行鲁棒3D物体检测与6D位姿估计的挑战。
• 通过利用深度特征提升泛化能力，克服传统基于模板和基于描述子方法的局限性。
• 通过将特征学习与全局场景理解解耦，实现可扩展的多物体检测。
• 通过高效的近似最近邻匹配和投票过滤，降低计算成本，同时保持高召回率。
• 通过学习的描述子桥接真实与合成图像块空间，实现对未见真实世界数据的泛化能力。

提出的方法

• 在真实RGB-D图像中随机采样的局部RGB-D图像块上训练卷积自编码器（CAE），以学习紧凑且具有区分性的描述子。
• 构建一个包含合成物体视角图像块的码本，每个图像块关联一个6D位姿假设及其学习到的描述子。
• 推理阶段，从输入场景中密集采样局部RGB-D图像块，并使用训练好的CAE回归其描述子。
• 执行近似k-NN搜索，将真实图像块描述子与合成码本匹配，检索出描述子相似的候选图像块。
• 仅当描述子距离低于学习到的阈值τ时，才对匹配结果投射6D位姿投票，从而实现投票聚合。
• 应用过滤阶段以抑制虚假投票，并通过投票共识机制精炼最终的位姿假设。

实验结果

研究问题

• RQ1 深度自编码器能否从局部RGB-D图像块中学习到在未见真实世界场景中具有良好泛化能力的描述子？
• RQ2 与手工设计特征相比，基于学习描述子的投票机制在处理遮挡和杂乱时的效率如何？
• RQ3 该方法在数据库中物体数量增加时的可扩展性如何？与现有方法相比效率如何？
• RQ4 学习到的描述子能否在无需显式背景建模的情况下，弥合真实场景图像块与合成模型图像块之间的域差距？
• RQ5 与当前最先进方法相比，该方法是否在保持低推理运行时间的同时实现了具有竞争力的检测性能？

主要发现

• 在具有挑战性的39个序列数据集上，该方法的平均F1分数达到0.956，召回率和精确率平衡方面优于先前方法。
• 在LineMOD数据集上，该方法在原始协议下对'ape'物体的检测率达到98.1%，对'bowl'和'cup'物体的检测率均为100%，超越了之前的SOTA。
• 在'Challenge'数据集上，尽管精确率较低（94.1%），该方法仍保持了97.3%的高召回率，表明其在遮挡和杂乱环境下的强鲁棒性。
• 每帧的运行时间显著低于竞争方法——平均低于100ms，证明了其可扩展性和高效性。
• 基于CAE的描述子实现了真实与合成图像块之间的可靠匹配，从而在无需显式背景建模的情况下实现泛化能力。
• 由于采用离散图像块采样和近似最近邻检索，该方法的复杂度随物体数量线性增长，避免了验证复杂度的指数级增长。