[论文解读] Category-Level Articulated Object Pose Estimation

Xiaolong Li, He Wang+4 more|arXiv (Cornell University)|Dec 26, 2019

Human Pose and Action Recognition参考文献 29被引用 7

一句话总结

该论文提出了一种基于新型关节感知归一化坐标空间层级（ANCSH）的类别级可动物体位姿估计框架，以实现对未见实例的泛化。该方法使用基于PointNet++的网络预测ANCSH中的规范部件和关节属性，随后通过优化位姿与关节约束，即使在训练过程中未使用真实数据，也在真实世界基准上实现了最先进精度。

ABSTRACT

This project addresses the task of category-level pose estimation for articulated objects from a single depth image. We present a novel category-level approach that correctly accommodates object instances previously unseen during training. We introduce Articulation-aware Normalized Coordinate Space Hierarchy (ANCSH) - a canonical representation for different articulated objects in a given category. As the key to achieve intra-category generalization, the representation constructs a canonical object space as well as a set of canonical part spaces. The canonical object space normalizes the object orientation,scales and articulations (e.g. joint parameters and states) while each canonical part space further normalizes its part pose and scale. We develop a deep network based on PointNet++ that predicts ANCSH from a single depth point cloud, including part segmentation, normalized coordinates, and joint parameters in the canonical object space. By leveraging the canonicalized joints, we demonstrate: 1) improved performance in part pose and scale estimations using the induced kinematic constraints from joints; 2) high accuracy for joint parameter estimation in camera space.

研究动机与目标

• 从单张深度图像实现可动物体的类别级位姿估计，并泛化到训练期间未见过的新实例。
• 解决部件几何、关节参数、运动状态以及自遮挡等方面在类别内部的巨大差异问题。
• 通过建模旋转关节和移动关节的运动学约束，提升位姿估计精度。
• 通过利用规范表示，在相机坐标系中实现高精度的关节参数预测。
• 开发一个统一框架，联合优化部件位姿与关节约束，利用学习得到的规范坐标空间。

提出的方法

• 提出关节感知归一化坐标空间层级（ANCSH），包含两级规范空间：用于全局物体归一化的归一化可动物体坐标空间（NAOCS），以及用于各部件归一化的归一化部件坐标空间（NPCSs）。
• 使用基于PointNet++的深度神经网络，预测部件分割、ANCSH中的归一化坐标，以及规范空间中的关节参数。
• 基于关节类型（旋转或移动）建模运动学约束，并将其作为正则化项整合到联合优化问题中，用于位姿拟合。
• 将关节参数预测从规范空间（NAOCS）转换回相机坐标系，以提升真实场景下的精度。
• 利用NAOCS表示缓解严重遮挡下的尺寸模糊问题，实现可靠的关节状态与参数估计。
• 采用联合优化框架，同时最小化部件位姿拟合误差与关节约束违反量。

实验结果

研究问题

• RQ1 共享的规范表示是否能够实现对未见实例的可动物体位姿估计的类别级泛化？
• RQ2 如何有效建模并利用旋转关节与移动关节的运动学约束以提升位姿估计精度？
• RQ3 在规范空间中进行关节参数预测，是否能比直接预测在相机坐标系中获得更高精度？
• RQ4 ANCSH表示在多大程度上降低了对新实例中遮挡与形状变化的敏感性？
• RQ5 在高维可动位姿空间中，联合优化部件位姿拟合与关节约束正则化，是否优于独立的部件预测？

主要发现

• 所提出的ANCSH表示能够在测试时无需CAD模型的情况下，实现对未见过的可动物体实例的准确类别级位姿估计。
• 通过联合优化实现的关节约束正则化，显著提升了部件位姿与尺度估计的精度，尤其在复杂构型下表现更优。
• 在真实世界深度序列中，该方法在笔记本电脑类别上达到96.25%的AD精度，在柜子上为92.3%，在碗柜上为96.9%，在玩具火车上为79.8%。
• 对于具有挑战性的笔记本电脑类别，该方法在序列1中对部件的AD精度分别达到97.5%和94.7%，在序列2中分别达到98.9%和99.0%，优于先前最先进方法。
• 尽管训练中未使用真实世界数据，该方法在实例级基准上的性能与或优于最先进水平，尤其在遮挡条件下的关节参数与状态估计方面表现突出。
• 在严重遮挡条件下，NAOCS表示即使在部件尺寸与边界框预测不准确时，仍能保持可靠的关节状态与参数估计。