[论文解读] Convolutional Models for Joint Object Categorization and Pose Estimation

Mohamed Elhoseiny, Tarek El-Gaaly+2 more|arXiv (Cornell University)|Nov 16, 2015

Advanced Neural Network Applications参考文献 37被引用 11

一句话总结

本文提出了一种基于CNN的新框架，用于联合进行物体分类与3D姿态估计，通过早期和晚期分支结构平衡视图不变与视图可变的表征。通过分析多个CNN层的特征图，作者表明浅层和中间层保留了姿态敏感信息，通过端到端训练共享分支与任务特定分支，在Pascal3D+和RGBD数据集上实现了最先进性能。

ABSTRACT

In the task of Object Recognition, there exists a dichotomy between the categorization of objects and estimating object pose, where the former necessitates a view-invariant representation, while the latter requires a representation capable of capturing pose information over different categories of objects. With the rise of deep architectures, the prime focus has been on object category recognition. Deep learning methods have achieved wide success in this task. In contrast, object pose regression using these approaches has received relatively much less attention. In this paper we show how deep architectures, specifically Convolutional Neural Networks (CNN), can be adapted to the task of simultaneous categorization and pose estimation of objects. We investigate and analyze the layers of various CNN models and extensively compare between them with the goal of discovering how the layers of distributed representations of CNNs represent object pose information and how this contradicts with object category representations. We extensively experiment on two recent large and challenging multi-view datasets. Our models achieve better than state-of-the-art performance on both datasets.

研究动机与目标

• 探究尽管视图不变性与视图可变性表征之间存在固有矛盾，深度CNN是否能被有效适配以同时执行物体分类与3D姿态估计。
• 分析不同CNN层如何表征姿态信息，以及这与类别识别目标之间的冲突。
• 比较各种CNN架构（尤其是早期分支与晚期分支）在平衡两项任务方面的能力。
• 在包含多样化物体类别与姿态分布的两个大规模多视角数据集上验证所提出的模型。

提出的方法

• 作者设计了一种多分支CNN架构，其中共享卷积层后接用于分类与姿态估计的任务特定分支。
• 他们实验了三种变体：单分支模型（PM）、晚期分支模型（LBM）和早期分支模型（EBM），其中EBM对姿态特定层进行随机初始化，以避免预训练类别特定特征带来的偏差。
• 模型在两个数据集（Pascal3D+和RGBD）上进行端到端微调，使用联合损失函数同时优化两项任务。
• 分析来自不同层（至FC7）的表征，以识别姿态信息最具有判别力的位置，以及类别信息最具有不变性的位置。
• 应用迁移学习，但作者认为使用类别优化权重初始化姿态分支会损害性能，原因在于表征目标存在冲突。
• 分析包括在数据集上对各层性能的定量比较，以及对分支深度与网络宽度的消融研究。

实验结果

研究问题

• RQ1 尽管视图不变性与视图可变性存在冲突，CNN是否能被有效适配以联合执行物体分类与3D姿态估计？
• RQ2 在预训练CNN中，哪些层最能保留姿态敏感特征，且这种特性在具有不同视角分布的数据集中如何变化？
• RQ3 使用类别优化网络的权重初始化姿态特定层是否会降低姿态估计性能，如果是，原因是什么？
• RQ4 分支策略的选择（早期 vs. 晚期）如何影响分类准确性与姿态估计鲁棒性之间的平衡？
• RQ5 使用共享分支与任务特定分支的端到端训练是否能优于复用预训练特征的迁移学习方法？

主要发现

• 早期分支模型（EBM）在Pascal3D+和RGBD数据集上均实现了最先进性能，优于基线模型及其他CNN变体。
• EBM在姿态估计精度上显著优于晚期分支模型（LBM）和单分支模型（PM），尤其在更具挑战性的基于自然图像的Pascal3D+数据集上表现突出。
• LBM在Pascal3D+上的性能下降，是由于深层特征中物体视角流形的坍塌，表明在无控制、稀疏视角设置下，深层特征会丢失姿态判别信息。
• 使用预训练类别特定权重初始化姿态分支（如PM中所示）会损害姿态估计性能，证实视图不变表征不适用于姿态回归任务。
• 浅层与中层（如FC7之前）比深层更能保留姿态敏感特征，尤其在视角稀疏或自然视角的数据集中表现更优。
• 分析表明，当分支在早期发生时，可实现分类与姿态估计之间的最佳平衡，使网络能学习到无冲突预训练目标干扰的任务特定判别特征。