[论文解读] CroCo: Self-Supervised Pre-training for 3D Vision Tasks by Cross-View Completion

Philippe Weinzaepfel, Vincent Leroy+8 more|arXiv (Cornell University)|Oct 19, 2022

Advanced Vision and Imaging被引用 16

一句话总结

CroCo 提出了一种自监督预训练方法，用于 3D 视觉，通过引入跨视图补全机制，即利用可见的图像块和同一场景的另一张未遮挡图像，来重建一张图像中被遮挡的图像块。该方法利用多视角几何关系解决歧义，实现了单目深度估计的最先进性能，并在光学流等双目任务上取得了具有竞争力的结果，且无需针对特定任务进行设计。

ABSTRACT

Masked Image Modeling (MIM) has recently been established as a potent pre-training paradigm. A pretext task is constructed by masking patches in an input image, and this masked content is then predicted by a neural network using visible patches as sole input. This pre-training leads to state-of-the-art performance when finetuned for high-level semantic tasks, e.g. image classification and object detection. In this paper we instead seek to learn representations that transfer well to a wide variety of 3D vision and lower-level geometric downstream tasks, such as depth prediction or optical flow estimation. Inspired by MIM, we propose an unsupervised representation learning task trained from pairs of images showing the same scene from different viewpoints. More precisely, we propose the pretext task of cross-view completion where the first input image is partially masked, and this masked content has to be reconstructed from the visible content and the second image. In single-view MIM, the masked content often cannot be inferred precisely from the visible portion only, so the model learns to act as a prior influenced by high-level semantics. In contrast, this ambiguity can be resolved with cross-view completion from the second unmasked image, on the condition that the model is able to understand the spatial relationship between the two images. Our experiments show that our pretext task leads to significantly improved performance for monocular 3D vision downstream tasks such as depth estimation. In addition, our model can be directly applied to binocular downstream tasks like optical flow or relative camera pose estimation, for which we obtain competitive results without bells and whistles, i.e., using a generic architecture without any task-specific design.

研究动机与目标

• 从无标注的图像对中学习 3D 几何感知表征，无需任何监督。
• 通过引入第二张视图进行几何推理，解决单视图遮挡图像建模中的歧义。
• 提升在单目 3D 视觉任务（如深度估计）和双目任务（如光学流）上的迁移性能。
• 开发一种通用的、与架构无关的预训练方法，使其在多种 3D 视觉任务中具备泛化能力。
• 证明跨视图补全可通过利用视图之间的空间关系，实现精确的重建。

提出的方法

• 模型使用孪生 Vision Transformer (ViT) 编码器处理同一场景的两张图像，其中一张图像的部分区域被遮挡。
• 将遮挡图像中的可见图像块和参考图像中的所有图像块编码为潜在 token。
• 通过交叉注意力机制，使用 Transformer 解码器同时关注可见图像块和参考图像的 token，实现跨视图推理。
• 解码器通过像素级重建损失预测被遮挡图像块的外观，类似于 MAE 的方式。
• 模型在 Habitat 模拟器生成的合成室内场景上进行预训练，采用较高的遮挡比例（例如 90%）。
• 在下游任务中，对于单目任务（如深度估计），丢弃解码器；而对于双目任务（如光学流），则使用完整架构。

实验结果

研究问题

• RQ1 跨视图补全是否在学习 3D 几何感知表征方面优于单视图遮挡图像建模？
• RQ2 使用第二张视图是否能减少图像重建中的歧义，并提升下游 3D 视觉任务的性能？
• RQ3 一个单一预训练模型是否能在单目和双目 3D 视觉任务中均实现优异性能？
• RQ4 遮挡比例如何影响跨视图补全设置下的预训练性能？
• RQ5 在无显式监督的情况下，模型在多大程度上学习到了视图之间的空间与几何关系？

主要发现

• CroCo 在 NYUv2 数据集上的单目深度估计任务中达到了最先进性能，优于以往的自监督方法。
• 该模型在光学流和相对位姿估计等双目任务上取得了具有竞争力的结果，且无需对网络架构进行任务特定修改。
• 在预训练阶段采用高遮挡比例（例如 90%）可显著提升下游任务性能。
• 使用真实参考图像进行重建的准确性远高于使用随机噪声，证明了模型对几何一致性的依赖。
• 由于跨视图监督的存在，CroCo 的重建结果比 MAE 更为精细和连贯，尤其是在归一化图像块重建方面。
• 模型在未见过的场景上也表现出良好的泛化能力，如在保留的测试场景中展示的定性结果所示。