[论文解读] Self-supervised Feature Learning by Cross-modality and Cross-view Correspondences

Longlong Jing, Yu‐Cheng Chen+3 more|arXiv (Cornell University)|Apr 13, 2020

3D Shape Modeling and Analysis参考文献 58被引用 6

一句话总结

该论文提出了一种自监督学习框架，通过利用跨模态（图像与点云）和跨视角（同一物体的不同2D视角）对应关系，联合学习2D图像和3D点云特征，而无需人工标注的标签。该方法使用2D卷积神经网络（CNN）和3D图卷积神经网络（GCN）提取特征，通过对比损失联合训练以实现跨模态匹配和跨视角一致性，从而在3D形状识别任务上达到最先进性能（89.8%准确率），并在多个下游任务中取得优异结果。

ABSTRACT

The success of supervised learning requires large-scale ground truth labels which are very expensive, time-consuming, or may need special skills to annotate. To address this issue, many self- or un-supervised methods are developed. Unlike most existing self-supervised methods to learn only 2D image features or only 3D point cloud features, this paper presents a novel and effective self-supervised learning approach to jointly learn both 2D image features and 3D point cloud features by exploiting cross-modality and cross-view correspondences without using any human annotated labels. Specifically, 2D image features of rendered images from different views are extracted by a 2D convolutional neural network, and 3D point cloud features are extracted by a graph convolution neural network. Two types of features are fed into a two-layer fully connected neural network to estimate the cross-modality correspondence. The three networks are jointly trained (i.e. cross-modality) by verifying whether two sampled data of different modalities belong to the same object, meanwhile, the 2D convolutional neural network is additionally optimized through minimizing intra-object distance while maximizing inter-object distance of rendered images in different views (i.e. cross-view). The effectiveness of the learned 2D and 3D features is evaluated by transferring them on five different tasks including multi-view 2D shape recognition, 3D shape recognition, multi-view 2D shape retrieval, 3D shape retrieval, and 3D part-segmentation. Extensive evaluations on all the five different tasks across different datasets demonstrate strong generalization and effectiveness of the learned 2D and 3D features by the proposed self-supervised method.

研究动机与目标

• 为解决在3D计算机视觉中，为监督学习标注大规模3D和2D数据集所带来的高昂成本问题。
• 在不依赖人工标注标签的前提下，学习具有判别性的2D与3D视觉特征。
• 通过联合优化跨模态与跨视角对应关系，提升特征的泛化能力。
• 在包括识别、检索和部件分割在内的多种下游任务上评估所学习特征的性能。
• 证明在微调时使用有限数据，自监督预训练可达到甚至超越监督学习的性能。

提出的方法

• 该方法以同一3D网格生成的多视角渲染图像和3D点云作为输入模态。
• 使用2D卷积神经网络（CNN）从同一3D物体的不同视角渲染的图像中提取特征。
• 使用图卷积神经网络（GCN）直接从3D点云数据中提取特征。
• 通过一个两层全连接网络预测2D图像与3D点云特征之间的跨模态对应关系。
• 通过两种对比损失进行模型训练：一种用于跨模态匹配（同一物体 vs. 不同物体），另一种用于跨视角一致性（最小化同一物体内部、最大化不同物体之间的2D图像特征距离）。
• 整个系统通过端到端反向传播进行联合优化，无需任何人工标注的标签。

实验结果

研究问题

• RQ1 能否有效利用2D图像与3D点云之间的跨模态对应关系作为自监督特征学习的监督信号？
• RQ2 在无标签条件下，同一3D物体的多个2D视角之间的跨视角对应关系是否能进一步提升2D特征学习？
• RQ3 同时优化跨模态与跨视角对应关系是否能带来更具泛化能力的2D与3D特征？
• RQ4 该自监督模型在3D识别与检索任务上的性能与监督学习及无监督基线方法相比如何？
• RQ5 当在有限数据上微调时，预训练特征是否能在下游任务（如3D部件分割）中实现良好泛化？

主要发现

• 所提方法仅通过自监督预训练即在3D形状识别任务（ModelNet40）上达到89.8%的top-1准确率，优于所有先前的无监督方法。
• 当在有限数据上微调时，该模型性能可与最先进监督方法（如PointNet++）相媲美，甚至在仅使用2%数据时超越监督基线方法。
• 在多视角2D形状识别任务中，该模型在80个视角下达到89.3%的准确率，接近使用80个视角的监督方法MVCNN的性能。
• 当在小规模3D数据集上微调时，预训练的3D特征提取器（$F_p$）在仅使用2%数据的情况下，实例mIOU提升+5.0%，类别mIOU提升+4.5%，优于监督设置。
• 跨模态与跨视角监督的联合使用可带来更鲁棒且更具泛化能力的特征，该结论在五个不同任务中得到验证：2D/3D识别、检索与3D部件分割。
• 消融实验确认，跨模态与跨视角损失均不可或缺，移除任一损失均导致性能显著下降。