[论文解读] Car Segmentation and Pose Estimation using 3D Object Models

Siddharth Mahendran, Renè Vidal|arXiv (Cornell University)|Dec 21, 2015

Advanced Neural Network Applications参考文献 36被引用 4

一句话总结

本文提出一种联合2D图像分割与3D汽车位姿估计框架，利用3D物体模型提升两项任务的性能。提出基于3D形状与体积一致性的新型自顶向下势能函数，将其分解为标准CRF项，通过图割与分支定界优化实现高效推理，当分割作为先验或反之亦然时，均实现位姿估计性能提升，在VOC2011数据集上实现22.29%的定向检测准确率，采用联合学习方法。

ABSTRACT

Image segmentation and 3D pose estimation are two key cogs in any algorithm for scene understanding. However, state-of-the-art CRF-based models for image segmentation rely mostly on 2D object models to construct top-down high-order potentials. In this paper, we propose new top-down potentials for image segmentation and pose estimation based on the shape and volume of a 3D object model. We show that these complex top-down potentials can be easily decomposed into standard forms for efficient inference in both the segmentation and pose estimation tasks. Experiments on a car dataset show that knowledge of segmentation helps perform pose estimation better and vice versa.

研究动机与目标

• 通过将3D物体模型作为自顶向下的先验，提升2D图像分割与3D位姿估计的性能。
• 解决基于2D的CRF模型依赖视角相关形状先验的局限性。
• 开发一种联合优化框架，利用分割与位姿估计之间的互信息。
• 通过分解与边界技术，在混合整数、非凸优化问题中实现高效推理。
• 证明当使用3D几何先验联合建模时，分割与位姿估计可相互受益。

提出的方法

• 提出两种新型自顶向下CRF势能函数：基于3D线框模型投影与2D HOG特征匹配的形状代价，以及基于3D模型投影与2D分割区域匹配的体积代价。
• 将3D形状与体积势能分解为标准的单变量与成对CRF项，以实现高效的图割推理。
• 采用分支定界（B&B）算法进行3D位姿估计，利用形状与体积代价的几何驱动边界加速搜索过程。
• 引入位姿单元细化过程，确保在交替最小化过程中代价单调下降，从而克服B&B算法非精确输出的问题。
• 在分割与位姿估计之间采用交替最小化（AM）策略，初始化采用自底向上的分割与基于DPM的位姿估计。
• 基于分割结果的交并比（IoU）设定阈值收敛准则，以终止AM过程。

实验结果

研究问题

• RQ1 3D物体模型是否能在超越2D形状先验的基础上，提升2D图像分割与3D位姿估计的性能？
• RQ2 如何在CRF框架中将3D形状与体积一致性编码为可微、可分解的势能函数？
• RQ3 能否在具有非凸、非光滑能量函数的联合2D分割与3D位姿估计问题中实现高效推理？
• RQ4 与独立优化相比，联合学习分割与位姿估计是否能带来相互的性能增益？
• RQ5 在处理遮挡与类别内差异时，3D几何先验相较于2D先验表现如何？

主要发现

• 基于体积的自顶向下势能函数在3D物体数据集上实现了最高的定向检测准确率91.67%，优于基于形状的（85.42%）与无分割基线（78.13%）。
• 在VOC2011数据集上，通过交替最小化实现的联合优化将定向检测准确率提升至22.29%（AM-Volume），超过单步优化的基线19.28%。
• 在联合设置下，分割准确率略有下降（例如，AM-Volume为86.42%，而B1-Volume为89.17%），表明分割与位姿准确率之间存在权衡。
• 采用AM-Shape模型在VOC2011数据集上实现了54.29%的平均检测准确率，显著优于基线。
• 位姿单元细化过程成功确保了交替最小化过程中的代价单调下降，即使在B&B算法输出非精确位姿的情况下，仍能实现收敛。
• 视觉结果（图8）显示，使用真实位姿可提升两种模型（形状与体积）下的分割质量，且联合学习能同时优化分割与位姿估计。