[论文解读] Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image

Wei Yin, Chi Zhang+6 more|arXiv (Cornell University)|Jul 20, 2023

Advanced Vision and ImagingComputer Science被引用 3

一句话总结

Metric3D 提出了一种标准相机空间变换模块，可解决多种相机模型之间的度量模糊性，从而实现从单张图像进行零样本度量3D重建。通过在包含数千种相机类型的800万张图像上进行训练，该方法在7个零样本基准测试中达到最先进性能，并在第二届单目深度估计挑战赛中获得亚军，实现了在真实世界图像中无尺度漂移的精确度量深度恢复。

ABSTRACT

Reconstructing accurate 3D scenes from images is a long-standing vision task. Due to the ill-posedness of the single-image reconstruction problem, most well-established methods are built upon multi-view geometry. State-of-the-art (SOTA) monocular metric depth estimation methods can only handle a single camera model and are unable to perform mixed-data training due to the metric ambiguity. Meanwhile, SOTA monocular methods trained on large mixed datasets achieve zero-shot generalization by learning affine-invariant depths, which cannot recover real-world metrics. In this work, we show that the key to a zero-shot single-view metric depth model lies in the combination of large-scale data training and resolving the metric ambiguity from various camera models. We propose a canonical camera space transformation module, which explicitly addresses the ambiguity problems and can be effortlessly plugged into existing monocular models. Equipped with our module, monocular models can be stably trained with over 8 million images with thousands of camera models, resulting in zero-shot generalization to in-the-wild images with unseen camera settings. Experiments demonstrate SOTA performance of our method on 7 zero-shot benchmarks. Notably, our method won the championship in the 2nd Monocular Depth Estimation Challenge. Our method enables the accurate recovery of metric 3D structures on randomly collected internet images, paving the way for plausible single-image metrology. The potential benefits extend to downstream tasks, which can be significantly improved by simply plugging in our model. For example, our model relieves the scale drift issues of monocular-SLAM (Fig. 1), leading to high-quality metric scale dense mapping. The code is available at https://github.com/YvanYin/Metric3D.

研究动机与目标

• 实现对未见过的多样化相机模型的零样本单图像度量3D重建。
• 解决单目深度估计中因焦距、传感器尺寸和像素尺寸差异导致的度量模糊性。
• 在涵盖多种相机类型和场景类别的大规模异构数据集上训练单一模型。
• 在测试数据上无需尺度对齐或微调，实现精确的度量深度预测。
• 通过度量深度监督，改善单目SLAM等下游应用，消除尺度漂移。

提出的方法

• 引入一种标准相机空间变换模块，将所有训练图像映射到标准化相机模型，减少因多样化相机内参带来的方差。
• 应用两种变换变体：一种调整图像外观以模拟标准相机行为，另一种转换真实深度标签用于监督。
• 在推理阶段应用去标准化变换，从标准空间预测中恢复真实世界的度量深度。
• 提出一种随机提议归一化损失，对随机裁剪的图像块应用尺度-平移不变损失，强调局部几何结构和分布。
• 在来自11个多样化数据集的800万张图像上训练模型，涵盖室内、室外和自动驾驶场景，包含数万个独特的相机型号。
• 将该模块无缝集成到现有单目深度架构中，无需修改网络结构，实现广泛的兼容性。

实验结果

研究问题

• RQ1 单一单目深度模型能否在无需微调的情况下泛化到未见过的相机模型，并实现真实世界的度量深度恢复？
• RQ2 在训练过程中，如何解决因焦距和传感器尺寸差异导致的度量模糊性，以实现零样本度量深度估计？
• RQ3 大规模异构数据集在多大程度上能提升单目深度估计中的零样本泛化能力？
• RQ4 所提出的标准相机空间变换方法是否能优于在模型中隐式或显式编码相机模型的方法？
• RQ5 度量深度预测能否通过消除尺度漂移，显著提升单目SLAM等下游任务的性能？

主要发现

• Metric3D 在7个零样本基准测试（包括 NYU、KITTI、DIODE、ETH3D、iBims-1、NuScenes 和 7Scenes）中达到最先进性能，且无需任何尺度对齐。
• 该方法在第二届单目深度估计挑战赛中获得亚军，证明其在未见相机设置下具备卓越的泛化能力和度量准确性。
• 在 KITTI 里程计基准测试中，将 Metric3D 集成到 Droid-SLAM 后，成功消除了尺度漂移，并实现了无需微调的高质量度量稠密映射。
• 该模型仅利用元数据（焦距和像素尺寸）即成功从 Flickr 图像中重建出度量3D点云，测得的结构尺寸处于合理的现实世界范围内。
• 视觉对比显示，与 SOTA 方法（如 Adabins、NewCRFs 和 Omnidata）相比，本方法产生的伪影更少，深度预测更准确。
• 该方法可实现从具有不同焦距的六环相机中一致地进行360°度量重建，展示了在多视角自动驾驶场景中的强大鲁棒性。