[论文解读] Learning from Unlabelled Videos Using Contrastive Predictive Neural 3D Mapping

Adam W. Harley, Shrinidhi Kowshika Lakshmikanth+4 more|arXiv (Cornell University)|Jun 10, 2019

Advanced Vision and Imaging被引用 8

一句话总结

本文提出了一种自监督神经3D地图构建框架，通过对比预测损失从无标注的RGB-D视频中学习3D视觉表征，预测新视角。通过稳定相对于自身运动的3D特征图并使用对比学习，该模型在复杂逼真的数据上优于回归和VAE基线，提升了半监督3D物体检测性能，并实现了无监督3D运动物体检测。

ABSTRACT

Predictive coding theories suggest that the brain learns by predicting observations at various levels of abstraction. One of the most basic prediction tasks is view prediction: how would a given scene look from an alternative viewpoint? Humans excel at this task. Our ability to imagine and fill in missing information is tightly coupled with perception: we feel as if we see the world in 3 dimensions, while in fact, information from only the front surface of the world hits our retinas. This paper explores the role of view prediction in the development of 3D visual recognition. We propose neural 3D mapping networks, which take as input 2.5D (color and depth) video streams captured by a moving camera, and lift them to stable 3D feature maps of the scene, by disentangling the scene content from the motion of the camera. The model also projects its 3D feature maps to novel viewpoints, to predict and match against target views. We propose contrastive prediction losses to replace the standard color regression loss, and show that this leads to better performance on complex photorealistic data. We show that the proposed model learns visual representations useful for (1) semi-supervised learning of 3D object detectors, and (2) unsupervised learning of 3D moving object detectors, by estimating the motion of the inferred 3D feature maps in videos of dynamic scenes. To the best of our knowledge, this is the first work that empirically shows view prediction to be a scalable self-supervised task beneficial to 3D object detection.

研究动机与目标

• 探究通过对比学习进行视图预测是否可作为3D视觉识别的可扩展自监督预训练目标。
• 开发一种神经3D地图网络，将场景内容与相机运动解耦，从2.5D视频输入生成稳定的3D特征图。
• 在下游任务上评估学习到的表征：半监督3D物体检测和无监督3D运动物体检测。
• 展示在仿真中学习的3D表征向真实世界数据的迁移能力。

提出的方法

• 模型使用3D特征体作为中心记忆，通过可微分的、受自身运动稳定化的特征投影机制进行更新。
• 利用监督CNN头估计相机自身运动，使网络能够在相机移动时稳定3D特征。
• 通过将3D特征图投影到其他视角并将其与真实目标视角进行比较，实现新视角的预测。
• 采用对比预测损失——具体为预测视图特征与目标视图特征之间的对比损失——而非标准的RGB回归。
• 整个流水线（包括自身运动估计和视图预测）通过反向传播端到端训练。
• 对于无监督3D运动物体检测，模型在连续的3D特征体之间估计3D运动场，并将运动聚类为物体实例。

实验结果

研究问题

• RQ1 在无标注RGB-D视频上使用对比视图预测是否能获得优于标准RGB回归或VAE方法的3D视觉表征？
• RQ2 经自身运动稳定的3D特征图是否能实现准确的3D场景重建和遮挡后的补全？
• RQ3 使用视图对比预测进行预训练是否能提升半监督3D物体检测性能，尤其是在标注数据有限的情况下？
• RQ4 模型是否能仅通过3D特征空间中的运动检测3D中的运动物体，而无需任何人工标注的边界框？
• RQ5 在仿真中学习的3D表征是否能泛化到真实世界的3D物体检测任务？

主要发现

• 对比预测损失在半监督3D物体检测中优于RGB回归和VAE基线，尤其在标注数据较少的情况下表现更优。
• 模型在所有空间类型中的占据分类准确率达到98%，表明其在3D场景补全和表征学习方面表现优异。
• 自身运动估计误差与当前最先进的SLAM和基于CNN的基线相当，旋转误差为0.120 rad，平移误差为0.036 m。
• 通过聚类3D运动场，模型实现了无监督3D运动物体检测，优于2.5D基线和迭代VAE。
• 在仿真中进行的视图对比预训练显著提升了真实世界数据上的3D物体检测性能，证明了强大的迁移能力。