[论文解读] A Unified Framework for Multi-View Multi-Class Object Pose Estimation

Chi Li, Jin Bai+1 more|arXiv (Cornell University)|Mar 21, 2018

Robotics and Sensor-Based Localization参考文献 35被引用 12

一句话总结

该论文提出了一种统一的深度学习框架，用于可扩展的、多类别、多视角6-DoF物体位姿估计。该框架引入了一种通过二进制-增量编码实现SE(3)位姿表示的单输出卷积神经网络，采用平铺类别图进行类别先验融合，并通过物体掩码进行深度监督，从而在YCB-Video、JHUScene-50和ObjectNet-3D基准上实现了最先进性能，同时提升了鲁棒性和泛化能力。

ABSTRACT

One core challenge in object pose estimation is to ensure accurate and robust performance for large numbers of diverse foreground objects amidst complex background clutter. In this work, we present a scalable framework for accurately inferring six Degree-of-Freedom (6-DoF) pose for a large number of object classes from single or multiple views. To learn discriminative pose features, we integrate three new capabilities into a deep Convolutional Neural Network (CNN): an inference scheme that combines both classification and pose regression based on a uniform tessellation of the Special Euclidean group in three dimensions (SE(3)), the fusion of class priors into the training process via a tiled class map, and an additional regularization using deep supervision with an object mask. Further, an efficient multi-view framework is formulated to address single-view ambiguity. We show that this framework consistently improves the performance of the single-view network. We evaluate our method on three large-scale benchmarks: YCB-Video, JHUScene-50 and ObjectNet-3D. Our approach achieves competitive or superior performance over the current state-of-the-art methods.

研究动机与目标

• 解决在杂乱背景中对大量多样化物体类别进行6-DoF位姿估计时面临的可扩展性和鲁棒性挑战。
• 克服复杂场景中由对称性、遮挡和外观变化引起的单视角模糊性。
• 开发一种统一的深度学习架构，能够在保持多类别高精度的同时泛化到未见的物体实例。
• 设计一种高效的多视角融合框架，通过基于对称性的投票机制选择可靠的位姿假设，降低对单视角准确性的依赖。
• 通过使用物体掩码进行深度监督和类别感知特征学习，提升从合成数据到真实世界数据的泛化能力。

提出的方法

• 提出一种用于SE(3)中6-DoF位姿的二进制-增量（BD）表示方法，通过群的均匀分划实现离散化、可微分且具有区分性的位姿回归。
• 通过平铺类别图将物体类别标签融合进网络，该图与特征图拼接，实现在单分支架构中的类别感知特征学习。
• 在中间层使用真实物体分割掩码进行深度监督，以改善特征学习，并提升从合成图像到真实图像的泛化能力。
• 采用多视角融合框架，将多个视角的位姿假设对齐到一个标准坐标系，并通过基于对称性的鲁棒距离度量选择最一致的位姿。
• 使用基于投票的假设选择机制，以解决单视角模糊性，尤其针对对称物体，从而提高最终位姿精度。
• 采用端到端方式使用RGB和RGB-D输入进行模型训练，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 一个具有统一输出流的单一深度卷积神经网络架构，是否能在保持可扩展性和泛化能力的同时，实现对数百个物体类别的最先进性能？
• RQ2 通过平铺类别图引入类别先验，与按类别或按分支的网络相比，如何提升位姿估计的准确性和泛化能力？
• RQ3 使用物体掩码进行深度监督，在6-DoF位姿估计中，能在多大程度上提升从合成数据到真实世界图像的泛化能力？
• RQ4 多视角融合框架是否能有效解决由物体对称性和部分遮挡引起的单视角模糊性？
• RQ5 所提出的组件——二进制-增量表示、平铺类别图和掩码监督——在大规模基准上，其单独和协同作用对性能的贡献如何？

主要发现

• 所提出的MCN框架在YCB-Video上达到80.2%的mPCK，显著优于基线模型（61.0%）和独立分支基线（73.8%），证明了其卓越的准确性和可扩展性。
• 在JHUScene-50上，MCN达到33.9%的mPCK，较基线（25.0%）提升8.3%，较独立分支基线（29.3%）提升5.2%，表明其在杂乱场景中表现强劲。
• 在ObjectNet-3D上，MCN达到90.8%的AOS和78.9%的AVP，即使在后者模型于验证集上进行优化的情况下仍表现更优，表明其对未见实例具有强大的泛化能力。
• 消融实验确认，若移除任意一个核心组件——二进制-增量表示、平铺类别图或掩码监督——性能均出现一致下降，其中二进制-增量表示的影响最为关键。
• 即使采用共享特征的独立分支基线，其性能仍低于MCN；而独立网络基线在大规模场景中不可行，因其训练成本过高（例如，ObjectNet-3D需100张GPU）。
• 多视角框架通过投票机制解决模糊性，提升了单视角性能，MV5-MCN在所有基准上均优于单视角变体。