[论文解读] Learning Analysis-by-Synthesis for 6D Pose Estimation in RGB-D Images

Alexander Krull, Eric Brachmann+4 more|arXiv (Cornell University)|Aug 19, 2015

Robotics and Sensor-Based Localization参考文献 27被引用 29

一句话总结

本文提出了一种基于学习的分析-合成框架，用于在RGB-D图像中进行6D物体位姿估计，利用卷积神经网络（CNN）学习观测图像与渲染图像之间的相似性度量。该CNN通过最大似然训练，以能量函数建模物体位姿的后验概率，从而在两个遮挡严重的数据集上实现了最先进性能，显著优于先前方法。

ABSTRACT

Analysis-by-synthesis has been a successful approach for many tasks in computer vision, such as 6D pose estimation of an object in an RGB-D image which is the topic of this work. The idea is to compare the observation with the output of a forward process, such as a rendered image of the object of interest in a particular pose. Due to occlusion or complicated sensor noise, it can be difficult to perform this comparison in a meaningful way. We propose an approach that "learns to compare", while taking these difficulties into account. This is done by describing the posterior density of a particular object pose with a convolutional neural network (CNN) that compares an observed and rendered image. The network is trained with the maximum likelihood paradigm. We observe empirically that the CNN does not specialize to the geometry or appearance of specific objects, and it can be used with objects of vastly different shapes and appearances, and in different backgrounds. Compared to state-of-the-art, we demonstrate a significant improvement on two different datasets which include a total of eleven objects, cluttered background, and heavy occlusion.

研究动机与目标

• 在存在严重遮挡和传感器噪声等挑战性条件下，提升RGB-D图像中的6D物体位姿估计性能。
• 解决在分析-合成方法中，由于复杂噪声和缺失深度数据，导致观测图像与渲染图像难以比较的问题。
• 利用深度学习学习一种鲁棒且可泛化的观测图像与渲染图像之间的相似性函数。
• 实现在无需微调的情况下，对多样化物体形状、外观和背景的零样本泛化能力。

提出的方法

• 训练一个卷积神经网络（CNN），将观测图像与渲染图像的图像对映射到表示位姿合理性的能量值。
• 通过最大似然估计学习能量函数，将物体位姿的后验分布建模为吉布斯分布。
• 在单一物体（如Samurai）上训练CNN，随后无需微调即可应用于其他物体。
• 位姿估计流程将学习到的能量函数作为优化目标，使真实位姿处的能量最小化。
• 该方法同时利用RGB和深度信息，其中渲染图像通过3D模型和已知位姿生成。
• 该框架具有通用性，适用于任意图像对类型（如RGB与深度，或RGB与合成RGB图像）。

实验结果

研究问题

• RQ1 深度CNN能否有效学习观测图像与渲染RGB-D图像之间的相似性度量，以实现6D位姿估计？
• RQ2 在单一物体上训练的CNN能否泛化到具有不同形状、外观和背景的其他物体？
• RQ3 在严重遮挡和传感器噪声条件下，学习到的能量函数能否优于传统分析-合成方法？
• RQ4 性能提升是否在多个数据集和物体类别上均保持稳健？

主要发现

• 在遮挡水平为50%至60%的遮挡数据集上，该方法在位姿估计精度上实现了20%以上的提升。
• 在Krull等人数据集上，与Brachmann等人[5]的基线方法相比，该方法平均精度提升了10.97%。
• CNN在训练过程中未见过的物体上也表现出有效的泛化能力，包括形状和外观差异极大的物体。
• 在Krull数据集上，该模型在所有测试物体上的平均精度达到56.74%，其中各物体结果分别为：56.02%（Toolbox）、59.56%（Cat）和54.65%（Samurai）。
• 失败案例主要源于优化问题，而非能量函数本身，因为真实位姿的能量通常低于估计位姿的能量。
• 该方法可推广至RGB-D以外的其他图像模态，例如将观测RGB图像与渲染深度图像进行比较。