Skip to main content
QUICK REVIEW

[论文解读] MiDaS v3.1 -- A Model Zoo for Robust Monocular Relative Depth Estimation

Reiner Birkl, Diana Wofk|arXiv (Cornell University)|Jul 26, 2023
Advanced Vision and ImagingComputer Science被引用 37
一句话总结

MiDaS v3.1 发布了一组广泛的深度估计模型,新增编码器骨干网(BEiT、Swin、SwinV2、Next-ViT、LeViT),并分析它们在单目相对深度估计中的质量-运行时权衡,以及集成未来骨干网的准则。

ABSTRACT

We release MiDaS v3.1 for monocular depth estimation, offering a variety of new models based on different encoder backbones. This release is motivated by the success of transformers in computer vision, with a large variety of pretrained vision transformers now available. We explore how using the most promising vision transformers as image encoders impacts depth estimation quality and runtime of the MiDaS architecture. Our investigation also includes recent convolutional approaches that achieve comparable quality to vision transformers in image classification tasks. While the previous release MiDaS v3.0 solely leverages the vanilla vision transformer ViT, MiDaS v3.1 offers additional models based on BEiT, Swin, SwinV2, Next-ViT and LeViT. These models offer different performance-runtime tradeoffs. The best model improves the depth estimation quality by 28% while efficient models enable downstream tasks requiring high frame rates. We also describe the general process for integrating new backbones. A video summarizing the work can be found at https://youtu.be/UjaeNNFf9sE and the code is available at https://github.com/isl-org/MiDaS.

研究动机与目标

  • 通过在 MiDaS 架构中整合广泛的 transformer 与卷积骨干网,推动单目相对深度估计的发展。
  • 比较不同骨干网在深度估计质量和运行时上的差异,以指导不同下游任务的模型选择。
  • 提供在 MiDaS 中集成新骨干网并扩展模型库的实用框架与指南。
  • 评估模型在不同数据集与分辨率上的泛化能力,以指导零-shot 与跨领域性能。

提出的方法

  • 通过精心选择的钩子,将新的编码器骨干网(BEiT、Swin、SwinV2、Next-ViT、LeViT)集成到 MiDaS 解码器中,连接编码器阶段与深度解码器。
  • 利用 PyTorch Image Models (timm) 库进行骨干网创建,并使用自定义钩子机制将骨干网适配到 MiDaS 深度解码器。
  • 使用多数据集混合进行分阶段训练(子集上预训练60个 epoch,完整混合上再训练60个 epoch)和两阶段优化(编码器 1e-5,解码器 1e-4)。
  • 使用数据集混合(3+10 与 5+12),并包含 DIW、ETH3D、Sintel、KITTI、NYU Depth v2、TUM 等,以提升泛化能力。
  • 使用已建立的深度评估指标(DIW 的 WHDR、ETH3D/Sintel 的 REL、NYU/KITTI/TUM 的 delta1 > 1.25)进行评估,并以 ViT-L 384 作为基线报告相对改进。

实验结果

研究问题

  • RQ1在方形分辨率和不受限分辨率下,哪些骨干网在 MiDaS v3.1 下提供最佳深度估计质量?
  • RQ2不同骨干网的运行时影响(FPS)是多少,哪些模型适合实时任务?
  • RQ3基于 transformer 的骨干网在深度估计准确性和跨数据集的泛化方面,与卷积骨干相比如何?
  • RQ4将新的编码器骨干网集成到 MiDaS 架构中的实用指南是什么?
  • RQ5增加训练数据混合(3+10 vs 5+12)如何影响在 KITTI 与 NYU Depth v2 上的零-shot 性能?

主要发现

  • BEiT 512-L 在方形和不受限分辨率下都是最佳模型,相对于基线显示出强劲的相对提升。
  • Swin 与 SwinV2 骨干网在分辨率和速度方面提供多种权衡的高质量深度。
  • LeViT-224 是新模型中最快的(最高可达 73 fps),超越一些传统轻量模型。
  • 某些未公开的骨干网(如 Swin-L、Swin-T、MobileViTv2 变体)显示出较低或不确定的增益,因此未发布,体现了基于质量标准的选择。
  • 最佳已发布模型相较于 ViT-L 基线实现了显著提升(相对提升 I),BEiT-512-L 与 BEiT-384-L 变体在各数据集上表现强劲。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。