[论文解读] A Coarse-to-Fine Model for 3D Pose Estimation and Sub-category Recognition

Roozbeh Mottaghi, Xiang Yu+1 more|arXiv (Cornell University)|Apr 10, 2015

Advanced Neural Network Applications参考文献 33被引用 4

一句话总结

本文提出一种自粗到细的层次化模型，通过利用层次粒度减少参数爆炸并提升性能，联合执行3D姿态估计、目标检测和细分类识别。该方法采用包含离散与连续变量的混合随机场结构，通过基于粒子的推理进行训练，在‘All’任务上相比平面模型和离散分类器取得高达23%的性能提升，尤其得益于连续视角估计带来的掩码对齐效果提升。

ABSTRACT

Despite the fact that object detection, 3D pose estimation, and sub-category recognition are highly correlated tasks, they are usually addressed independently from each other because of the huge space of parameters. To jointly model all of these tasks, we propose a coarse-to-fine hierarchical representation, where each level of the hierarchy represents objects at a different level of granularity. The hierarchical representation prevents performance loss, which is often caused by the increase in the number of parameters (as we consider more tasks to model), and the joint modelling enables resolving ambiguities that exist in independent modelling of these tasks. We augment PASCAL3D+ dataset with annotations for these tasks and show that our hierarchical model is effective in joint modelling of object detection, 3D pose estimation, and sub-category recognition.

研究动机与目标

• 为解决联合建模目标检测、3D姿态估计与细分类识别的挑战，这些任务高度相关但通常被独立处理。
• 缓解在复杂度增加时，联合建模多个任务所导致的参数爆炸引发的性能下降问题。
• 通过利用粗粒度与细粒度物体表征之间的层次关系，解决姿态与细分类估计中的歧义。
• 通过估计连续3D视角而非依赖离散视角区间，提升与真实物体掩码的对齐程度。
• 扩展PASCAL3D+数据集，增加细分类与更细粒度细分类标注，以支持评估。

提出的方法

• 模型采用自粗到细的层次化表征，每一层粒度逐步提高，从高层类别与离散视角，到更细的子类别与连续3D姿态参数。
• 采用混合随机场结构，在统一框架中联合建模离散变量（如子类别）与连续变量（如方位角、仰角、距离）。
• 应用基于粒子的推理方法，以处理联合估计过程中连续与离散随机变量的混合。
• 在扩展后的PASCAL3D+数据集（新增子类别标注）上，采用判别式学习方法联合训练所有层次的参数。
• 在单一统一框架中，对物体位置、连续3D姿态、子类别与更细粒度子类别执行联合推理。
• 通过投影CAD掩码与真实分割掩码之间的交并比（IoU）评估连续视角估计，设置两种评估方式：CAD对齐与2D分割。

实验结果

研究问题

• RQ1 自粗到细的层次化模型能否有效统一3D姿态估计、目标检测与细分类识别，同时避免因模型复杂度增加导致的性能下降？
• RQ2 与独立建模相比，跨层次的联合建模是否能降低不确定性并提升姿态与细分类估计的准确性？
• RQ3 在掩码对齐精度方面，连续3D视角估计与离散视角分类相比表现如何？
• RQ4 该层次化结构在罕见或模糊物体类别上的性能提升程度如何？
• RQ5 当使用相同特征集时，所提方法是否能优于平面模型或独立分类器？

主要发现

• 3层层次化模型在‘All’任务（联合检测、姿态与细分类）上相比使用相同特征的平面模型，性能提升达23%。
• 该层次化模型显著优于平面模型，尤其在细分类识别与连续视角估计方面，16个离散方位角视图下的平均平均精度（AVP）达到15.2%。
• 在2D分割掩码上评估时，连续视角估计相比离散版本使IoU提升10.2%，表明与真实物体形状的对齐效果更优。
• 即使在复杂度增加的情况下，模型仍保持或提升性能，表明层次化参数共享可有效防止性能下降。
• 汽车子类别的混淆矩阵显示，主导类别（Sedan）表现优异，AVP值较高，表明模型有效学习了主导模式。
• 在汽车类别上，方位角的RMSE为73.16°，仰角为6.59°，距离为11.25，显示出强大的连续姿态估计精度。