[论文解读] EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monocular Object Pose Estimation

Hansheng Chen, Pichao Wang+4 more|arXiv (Cornell University)|Mar 24, 2022

Robotics and Sensor-Based Localization被引用 7

一句话总结

EPro-PnP 提出了一种可微分的、概率性的透视-多点（PnP）层，实现了单目 3D 物体位姿估计中 2D-3D 关键点对应关系的端到端学习。通过在 SE(3) 流形上对位姿建模为概率分布，并最小化预测位姿分布与真实位姿分布之间的 KL 散度，该方法克服了确定性 PnP 的不可微性问题，在 LineMOD 和 nuScenes 基准测试中达到最先进性能。

ABSTRACT

Locating 3D objects from a single RGB image via Perspective-n-Points (PnP) is a long-standing problem in computer vision. Driven by end-to-end deep learning, recent studies suggest interpreting PnP as a differentiable layer, so that 2D-3D point correspondences can be partly learned by backpropagating the gradient w.r.t. object pose. Yet, learning the entire set of unrestricted 2D-3D points from scratch fails to converge with existing approaches, since the deterministic pose is inherently non-differentiable. In this paper, we propose the EPro-PnP, a probabilistic PnP layer for general end-to-end pose estimation, which outputs a distribution of pose on the SE(3) manifold, essentially bringing categorical Softmax to the continuous domain. The 2D-3D coordinates and corresponding weights are treated as intermediate variables learned by minimizing the KL divergence between the predicted and target pose distribution. The underlying principle unifies the existing approaches and resembles the attention mechanism. EPro-PnP significantly outperforms competitive baselines, closing the gap between PnP-based method and the task-specific leaders on the LineMOD 6DoF pose estimation and nuScenes 3D object detection benchmarks.

研究动机与目标

• 解决单目 3D 物体位姿估计中 2D-3D 对应关系端到端学习的挑战，其中确定性 PnP 因不可微而阻碍训练。
• 通过将 PnP 重新表述为可微分的概率层，克服从零开始学习完整 2D-3D 对应关系时的收敛问题。
• 在单一概率框架下统一现有对应关系学习方法，其形式类似于注意力机制。
• 为 6DoF 位姿估计与 3D 物体检测提供灵活且可学习的 2D-3D 对应关系，包括可变形对应关系学习。
• 缩小基于 PnP 的方法与大规模基准测试（如 LineMOD 和 nuScenes）中任务专用最先进模型之间的性能差距。

提出的方法

• 提出 EPro-PnP 作为可微分的概率 PnP 层，输出 SE(3) 位姿空间上的概率分布，使 PnP 操作可反向传播。
• 将 2D 图像坐标、3D 物体模型坐标及其对应的注意力权重视为可学习参数，通过 KL 散度损失进行优化。
• 使用自适应多重重要性采样（AMIS）高效计算预测位姿分布与真实位姿分布之间的 KL 散度。
• 将 EPro-PnP 集成到 CDPN 等现有网络以及一种新型可变形对应关系网络中，实现端到端训练。
• 利用概率化公式建模多模态位姿分布，捕捉对称或不确定物体中的模糊性。
• 应用正则化与推理时增强（TTA）以提升在 3D 检测基准上的泛化能力与性能。

实验结果

研究问题

• RQ1 能否克服确定性 PnP 不可微的特性，以实现 2D-3D 对应关系的端到端学习？
• RQ2 PnP 的概率化公式能否提供一种稳定、可微分的代理，用于基于梯度的位姿估计优化？
• RQ3 在端到端学习中，将位姿建模为 SE(3) 流形上的分布，是否相比确定性 PnP 提升了泛化能力与性能？
• RQ4 EPro-PnP 是否能统一并超越现有对应关系学习方法，包括固定或部分可学习的对应关系方法？
• RQ5 EPro-PnP 是否能支持新型架构（如可变形对应关系网络），实现完整端到端训练下的高精度 3D 物体检测？

主要发现

• 在 LineMOD 6DoF 位姿估计基准测试中，EPro-PnP 达到最先进性能，平均精度为 0.453 NDS，超越先前最先进方法。
• 在 nuScenes 3D 物体检测基准测试中，基础 EPro-PnP 变体在验证集上达到 0.425 NDS，优于 FCOS3D 基线（0.372 NDS）。
• 在推理时翻转增强（TTA）下，EPro-PnP 在 nuScenes 验证集上达到 0.439 NDS，显著超过此前最先进方法。
• 与基线方法相比，该方法显著降低方向误差（mAOE = 0.337），证明了位姿精度的提升。
• 尽管存在噪声或细节较少的坐标图，EPro-PnP 仍实现与 CDPN 基线相当的位姿精度（79.46 mAP vs. 79.96 mAP），表现出对学习不确定性的鲁棒性。
• 概率化位姿分布成功捕捉了对称或模糊物体中的多模态方向不确定性，在 AOE 指标上优于离散分箱或混合模型方法。