[论文解读] 3D Object Class Detection in the Wild

Bojan Pepik, Michael Stark+3 more|arXiv (Cornell University)|Mar 17, 2015

Advanced Neural Network Applications参考文献 8被引用 5

一句话总结

本文提出了一种四阶段的3D物体类别检测框架，通过连续视角回归、2D关键点检测以及基于2D-3D关键点对齐的刚性3D提升，增强了基于RCNN的2D物体检测。该方法在Pascal3D+上实现了最先进性能，将平均精度（AP）提升了21.2%，AAVP提升了12.5%，同时从单张图像中生成了精确的3D形状估计和具有竞争力的分割掩码。

ABSTRACT

Object class detection has been a synonym for 2D bounding box localization for the longest time, fueled by the success of powerful statistical learning techniques, combined with robust image representations. Only recently, there has been a growing interest in revisiting the promise of computer vision from the early days: to precisely delineate the contents of a visual scene, object by object, in 3D. In this paper, we draw from recent advances in object detection and 2D-3D object lifting in order to design an object class detector that is particularly tailored towards 3D object class detection. Our 3D object class detection method consists of several stages gradually enriching the object detection output with object viewpoint, keypoints and 3D shape estimates. Following careful design, in each stage it constantly improves the performance and achieves state-ofthe-art performance in simultaneous 2D bounding box and viewpoint estimation on the challenging Pascal3D+ dataset.

研究动机与目标

• 在真实世界、非受限图像（‘in the wild’）中实现超越2D边界框的精确3D物体类别检测。
• 通过整合2D检测与3D提升，弥合多视角物体检测与详细3D形状对齐之间的差距。
• 在增加姿态、形状和关键点等丰富3D几何信息的同时，保持或提升2D检测精度。
• 验证在检测中引入3D信息不会降低2D定位性能。

提出的方法

• 该方法首先使用基于RCNN的2D物体检测器作为初始阶段，以在图像中定位物体类别。
• 应用连续视角回归头以预测物体在3D空间中的朝向，优于离散的角度区间分类方法。
• 执行2D关键点检测，以建立图像点与3D CAD模型关键点之间的2D-3D对应关系。
• 通过预测的2D-3D关键点对应关系和估计的视角，执行刚性3D提升步骤，将3D CAD原型对齐至图像。
• 使用结构化损失联合优化2D检测、视角估计和关键点定位，对整个流水线进行端到端训练。
• 最终的3D物体假设通过投影生成分割掩码，以验证3D形状预测的准确性。

实验结果

研究问题

• RQ1 能否设计一种3D物体类别检测器，使其在真实世界图像中同时实现最先进水平的2D物体检测与3D形状/姿态估计？
• RQ2 通过关键点对齐和视角回归引入3D几何推理是否会降低2D检测性能？
• RQ3 少量3D CAD原型能否被有效用于在杂乱、遮挡场景中为多样化物体类别生成精确的3D物体假设？
• RQ4 与直接3D提升或关键点回归相比，基于2D-3D关键点对齐的3D提升在视角估计和分割精度方面的表现如何？

主要发现

• 所提方法在Pascal3D+上的2D物体检测中，平均精度（AP）相比之前最先进方法提升了21.2%。
• 与先前最佳方法相比，平均视角角性能（AAVP）提升了12.5%，达到35.5%的mAAVP。
• 采用视角引导的刚性对齐方法（RCNN-Ridge-L）在AAVP和分割精度方面均优于直接提升（RCNN-L）和关键点回归基线方法。
• 在Pascal3D+上达到41.4%的分割精度，与原生分割方法相比具有竞争力，证实了3D形状估计的质量。
• 该方法在增加3D信息的同时，保持了与基础RCNN检测器相同的2D检测AP，证明了信息增强未造成性能损失。
• 在Pascal-context数据集上，该方法实现了31.5%的分割精度，优于基线方法，并接近最先进分割模型，尽管未针对分割进行训练。