[论文解读] A Mixed Classification-Regression Framework for 3D Pose Estimation from 2D Images

Siddharth Mahendran, Haider Ali+1 more|arXiv (Cornell University)|May 8, 2018

Anatomy and Medical Technology被引用 24

一句话总结

本文提出了一种用于从单张2D图像进行3D姿态估计的混合分类-回归框架，结合分类网络预测离散的姿态区间，以及回归网络对每个区间内的姿态进行精细化调整。该方法在Pascal3D+数据集上实现了最先进性能，将中位数误差降低至8.5°，并在π/6阈值下的准确率提升至85.88%。

ABSTRACT

3D pose estimation from a single 2D image is an important and challenging task in computer vision with applications in autonomous driving, robot manipulation and augmented reality. Since 3D pose is a continuous quantity, a natural formulation for this task is to solve a pose regression problem. However, since pose regression methods return a single estimate of the pose, they have difficulties handling multimodal pose distributions (e.g. in the case of symmetric objects). An alternative formulation, which can capture multimodal pose distributions, is to discretize the pose space into bins and solve a pose classification problem. However, pose classification methods can give large pose estimation errors depending on the coarseness of the discretization. In this paper, we propose a mixed classification-regression framework that uses a classification network to produce a discrete multimodal pose estimate and a regression network to produce a continuous refinement of the discrete estimate. The proposed framework can accommodate different architectures and loss functions, leading to multiple classification-regression models, some of which achieve state-of-the-art performance on the challenging Pascal3D+ dataset.

研究动机与目标

• 解决3D姿态估计中多模态姿态分布的挑战，特别是对船和餐桌等对称物体的处理。
• 克服纯回归方法（单峰输出）和纯分类方法（离散化误差）在3D姿态估计中的局限性。
• 开发一个统一框架，将离散姿态分类与连续回归精修相结合，以提升估计精度。
• 在具有挑战性的Pascal3D+基准数据集上实现3D物体姿态估计的最先进性能。

提出的方法

• 使用K-均值聚类将3D旋转空间离散化为姿态区间，以创建离散的姿态类别。
• 训练一个分类网络，以预测给定2D图像最可能对应的姿态区间（关键姿态）。
• 训练一个独立的回归网络，以预测真实3D姿态与关键姿态之间的连续偏差（delta）。
• 将预测的关键姿态与delta结合，生成最终的连续3D姿态估计结果。
• 使用加权损失函数平衡分类损失与回归损失，其中超参数α控制两者的权衡。
• 通过允许分类头和回归头采用灵活的架构选择与损失函数，支持多种模型变体。

实验结果

研究问题

• RQ1 与纯回归或纯分类方法相比，混合分类-回归框架是否能更好地处理多模态姿态分布？
• RQ2 将离散姿态分类与连续回归相结合，如何提升对对称及复杂物体的姿态估计精度？
• RQ3 在最小化中位数误差和π/6阈值下准确率方面，分类与回归损失之间的最优权衡是什么？
• RQ4 该框架在Pascal3D+数据集中对具有不同对称性与外观特征的多样化物体类别上的表现如何？

主要发现

• 所提框架在Pascal3D+数据集上实现了8.5°的中位数误差，显著优于先前方法。
• 当α=10（M_G+）时，模型在π/6阈值下的准确率最高（85.88%），优于其他变体及最先进基线方法。
• 消融实验表明，α=10在分类与回归之间实现了最佳平衡，显著降低了所有物体类别中的误差。
• 该框架在各类物体间泛化能力良好，尤其在船和餐桌等对称物体上表现显著提升。
• 失败案例的可视化显示，错误主要出现在模糊图像、罕见物体形状或远离训练分布的姿势上。
• 采用共享姿态区间与偏差网络的模型（M_G+）优于每类单独使用姿态区间网络的模型，表明其具备更优的泛化能力。