[论文解读] DualPoseNet: Category-level 6D Object Pose and Size Estimation Using Dual Pose Network with Refined Learning of Pose Consistency

Jiehong Lin, Zewei Wei+4 more|arXiv (Cornell University)|Mar 11, 2021

Robot Manipulation and Learning参考文献 31被引用 6

一句话总结

DualPoseNet 提出了一种基于精炼姿态一致性学习的双分支姿态网络，用于从单张 RGB-D 图像中进行类别级 6D 物体姿态与尺寸估计。它采用基于球面卷积的共享编码器，搭配两个并行解码器——一个显式解码器和一个隐式解码器，其中隐式解码器可在推理阶段实现自监督精炼，从而在各项指标上达到最先进性能，尤其在高精度指标上表现突出。

ABSTRACT

Category-level 6D object pose and size estimation is to predict full pose configurations of rotation, translation, and size for object instances observed in single, arbitrary views of cluttered scenes. In this paper, we propose a new method of Dual Pose Network with refined learning of pose consistency for this task, shortened as DualPoseNet. DualPoseNet stacks two parallel pose decoders on top of a shared pose encoder, where the implicit decoder predicts object poses with a working mechanism different from that of the explicit one; they thus impose complementary supervision on the training of pose encoder. We construct the encoder based on spherical convolutions, and design a module of Spherical Fusion wherein for a better embedding of pose-sensitive features from the appearance and shape observations. Given no testing CAD models, it is the novel introduction of the implicit decoder that enables the refined pose prediction during testing, by enforcing the predicted pose consistency between the two decoders using a self-adaptive loss term. Thorough experiments on benchmarks of both category- and instance-level object pose datasets confirm efficacy of our designs. DualPoseNet outperforms existing methods with a large margin in the regime of high precision. Our code is released publicly at https://github.com/Gorilla-Lab-SCUT/DualPoseNet.

研究动机与目标

• 解决在无法访问测试 CAD 模型的情况下，进行类别级 6D 物体姿态与尺寸估计的挑战。
• 提升在 SO(3) 全旋转空间中的姿态预测精度，尤其针对类别内形状差异较大的物体。
• 克服在类别级设置下学习 3D 物体形状旋转等变特征的困难。
• 在缺乏真实 CAD 模型的前提下，通过自适应一致性损失实现在推理阶段的姿态精炼。

提出的方法

• 采用基于球面卷积的共享姿态编码器，从 RGB-D 输入中学习旋转等变的形状特征。
• 设计球面融合模块，联合嵌入输入 RGB-D 区域的外观与形状特征。
• 实现两个并行解码器：一个显式解码器用于直接姿态预测，一个隐式解码器用于在标准姿态下重建输入点云。
• 在推理过程中引入自适应一致性损失，通过强制两个解码器之间的一致性来精炼预测结果。
• 通过一致性损失对编码器进行迭代微调，以在无需 CAD 模型的情况下提升精度。
• 利用现成的实例分割方法（如 Mask R-CNN）在将图像输入 DualPoseNet 流程前先分离出物体区域。

实验结果

研究问题

• RQ1 具有互补监督的双解码器架构是否能提升类别级设置下的 6D 姿态与尺寸估计性能？
• RQ2 通过点云重建实现的隐式姿态预测在提升泛化能力并实现无 CAD 模型下的精炼方面有多有效？
• RQ3 精炼后的姿态一致性学习在多大程度上提升了预测精度，尤其是在高精度指标下？
• RQ4 所提出方法在经过最小调整后，能否泛化至实例级 6D 姿态估计任务？

主要发现

• DualPoseNet 在 CAMERA25 和 REAL275 基准上达到最先进性能，优于现有方法如 NOCS、SPD 和 CASS，尤其在高精度指标上表现优异。
• 在使用迭代精炼时，DualPoseNet 在 YCB-Video 上的 mAP 达到 96.5%，在 LineMOD 上达到 98.2%，均基于平均 ADD(S) AUC 指标。
• 精炼学习过程通过将优化过程吸引至解空间中更精确的区域，显著提升了在更严格 IoU 和角度阈值下的性能表现。
• 尽管采用迭代优化，推理阶段的精炼仅在标准服务器上增加 0.2 秒/实例，效率较高。
• 消融实验表明，隐式解码器与精炼一致性学习均对性能提升有显著贡献。
• 定性结果表明，与基线方法相比，DualPoseNet 生成的边界框更紧凑、更精确，尤其在笔记本电脑等复杂形状物体上表现更优。