[论文解读] Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning of 3D Pose

Angtian Wang, Shenxiao Mei+2 more|arXiv (Cornell University)|Oct 27, 2021

Human Pose and Action Recognition参考文献 56被引用 5

一句话总结

本文提出了一种基于神经视图合成与匹配（NVSM）的半监督少样本3D姿态估计框架，通过合成新3D视角的特征图并进行空间匹配，将少量标注图像中的3D姿态标注迁移至未标注数据。该方法在仅使用7张标注图像的情况下实现了最先进性能，并通过对比学习进行迭代特征优化，展现出对部分遮挡和大姿态变化的强鲁棒性。

ABSTRACT

We study the problem of learning to estimate the 3D object pose from a few labelled examples and a collection of unlabelled data. Our main contribution is a learning framework, neural view synthesis and matching, that can transfer the 3D pose annotation from the labelled to unlabelled images reliably, despite unseen 3D views and nuisance variations such as the object shape, texture, illumination or scene context. In our approach, objects are represented as 3D cuboid meshes composed of feature vectors at each mesh vertex. The model is initialized from a few labelled images and is subsequently used to synthesize feature representations of unseen 3D views. The synthesized views are matched with the feature representations of unlabelled images to generate pseudo-labels of the 3D pose. The pseudo-labelled data is, in turn, used to train the feature extractor such that the features at each mesh vertex are more invariant across varying 3D views of the object. Our model is trained in an EM-type manner alternating between increasing the 3D pose invariance of the feature extractor and annotating unlabelled data through neural view synthesis and matching. We demonstrate the effectiveness of the proposed semi-supervised learning framework for 3D pose estimation on the PASCAL3D+ and KITTI datasets. We find that our approach outperforms all baselines by a wide margin, particularly in an extreme few-shot setting where only 7 annotated images are given. Remarkably, we observe that our model also achieves an exceptional robustness in out-of-distribution scenarios that involve partial occlusion.

研究动机与目标

• 为解决在极少量人工标注数据下进行3D姿态估计的挑战，特别是在少样本和半监督设置下。
• 在存在大姿态变化以及纹理、光照和遮挡等干扰因素的情况下，实现从少量标注图像到大规模未标注图像的可靠3D姿态标注迁移。
• 通过使用伪标签未标注数据迭代优化特征提取器，提升特征在3D物体姿态变化下的不变性。

提出的方法

• 物体以带有可学习特征向量的3D长方体网格表示，特征向量从少数具有真实3D姿态标注的图像中初始化。
• 神经视图合成通过旋转网格并从标注图像的CNN特征中采样特征向量，将特征向量光栅化，生成新3D视角的特征图。
• 在合成的特征图与未标注图像的特征之间进行空间匹配，基于匹配得分将伪标签分配给未标注图像。
• 对伪标签数据应用对比损失，以在不同3D姿态下对应网格顶点处强制实现特征相似性，从而提升姿态不变性。
• 该框架以类似EM的迭代优化过程，在伪标签未标注数据和特征提取器的精炼之间交替进行。
• 该方法利用预训练的ImageNet CNN主干网络进行初始特征提取，并通过在合成和匹配特征上应用对比学习进行微调。

实验结果

研究问题

• RQ1 在存在大姿态变化和干扰因素的情况下，能否从少量标注图像可靠地将3D姿态标注迁移至大规模未标注图像？
• RQ2 如何使特征表示对3D姿态变化保持不变，同时保留用于准确姿态估计的判别性结构？
• RQ3 当仅提供7个标注样本时，半监督框架在多大程度上能提升少样本3D姿态估计性能？
• RQ4 所提出的方法在部分遮挡等分布外场景下是否具备良好的泛化能力？
• RQ5 通过伪标签和对比学习进行的迭代优化，在训练周期内如何提升特征质量和姿态估计精度？

主要发现

• 所提出的NVSM框架在PASCAL3D+和KITTI数据集上实现了最先进性能，尤其在仅使用7张标注图像的极端少样本设置下表现优异。
• 在7张标注图像的设置下，模型显著优于所有基线方法，证明了该半监督学习范式在低数据场景下的有效性。
• 该方法对部分遮挡表现出极强的鲁棒性，在物体被显著遮挡时仍能保持高精度。
• 空间匹配质量在训练过程中显著提升，性能在前20个周期内出现急剧上升，表明特征学习有效。
• 通过PCA进行的特征可视化显示，训练后的特征提取器学习到了具有空间一致性和顶点判别性的物体感知表征，这与对比损失的设计目标一致。
• 对比损失成功地在不同姿态下对应网格顶点处鼓励了特征相似性，同时保持了不同顶点之间的区分性。