Skip to main content
QUICK REVIEW

[논문 리뷰] MiDaS v3.1 -- A Model Zoo for Robust Monocular Relative Depth Estimation

Reiner Birkl, Diana Wofk|arXiv (Cornell University)|2023. 07. 26.
Advanced Vision and ImagingComputer Science인용 수 37
한 줄 요약

MiDaS v3.1은 새로운 인코더 백본(BEiT, Swin, SwinV2, Next-ViT, LeViT)을 포함한 광범위한 깊이 추정 모델 세트를 출시하고, 단일 이미지 상대 깊이 추정에 대한 품질-런타임 trade-off를 분석하며, 향후 백본의 통합을 위한 가이드라인을 제시한다.

ABSTRACT

We release MiDaS v3.1 for monocular depth estimation, offering a variety of new models based on different encoder backbones. This release is motivated by the success of transformers in computer vision, with a large variety of pretrained vision transformers now available. We explore how using the most promising vision transformers as image encoders impacts depth estimation quality and runtime of the MiDaS architecture. Our investigation also includes recent convolutional approaches that achieve comparable quality to vision transformers in image classification tasks. While the previous release MiDaS v3.0 solely leverages the vanilla vision transformer ViT, MiDaS v3.1 offers additional models based on BEiT, Swin, SwinV2, Next-ViT and LeViT. These models offer different performance-runtime tradeoffs. The best model improves the depth estimation quality by 28% while efficient models enable downstream tasks requiring high frame rates. We also describe the general process for integrating new backbones. A video summarizing the work can be found at https://youtu.be/UjaeNNFf9sE and the code is available at https://github.com/isl-org/MiDaS.

연구 동기 및 목표

  • MiDaS 아키텍처에 트랜스포머 기반과 합성곱 기반 백본의 다양한 범위를 통합하여 단안 상대 깊이 추정을 향상시킨다.
  • 다양한 백본 간의 깊이 추정 품질과 런타임을 비교하여 다양한 하류 작업에 적합한 모델 선택을 안내한다.
  • 새로운 백본을 MiDaS에 통합하고 모델 자원을 확장하기 위한 실용적 프레임워크와 지침을 제공한다.
  • 다양한 데이터셋과 해상도에 걸친 모델 일반화를 평가하여 제로샷 및 교차 도메인 성능에 정보를 제공한다.

제안 방법

  • 인코더 스테이지를 깊이 디코더에 연결하는 신중하게 선택된 훅을 통해 MiDaS 디코더에 새로운 인코더 백본(BEiT, Swin, SwinV2, Next-ViT, LeViT)을 통합한다.
  • 백본 생성을 위해 PyTorch Image Models (timm) 라이브러리와 MiDaS 깊이 디코더에 백본을 적응시키는 커스텀 훅킹 메커니즘을 활용한다.
  • 부분집합에서 60 에폭 프리트레이닝, 전체 혼합에서 60 에폭의 단계적 학습 및 두 단계 최적화(인코더 1e-5, 디코더 1e-4)로 다데이터셋 혼합을 사용해 학습한다.
  • DIW, ETH3D, Sintel, KITTI, NYU Depth v2, TUM 등을 포함한 데이터세트 혼합(3+10 및 5+12)을 사용하여 일반화 능력을 향상시킨다.
  • 확립된 깊이 지표(DIW의 WHDR, ETH3D/Sintel의 REL, NYU/KITTI/TUM의 delta1 > 1.25)를 사용해 평가하고 기준선으로 ViT-L 384 대비 상대적 개선을 보고한다.

실험 결과

연구 질문

  • RQ1정사각형 해상도와 비제한 해상도에서 MiDaS v3.1 하의 어떤 백본이 최상의 깊이 추정 품질을 제공하는가?
  • RQ2다른 백본의 런타임 영향(FPS)은 무엇이며, 어떤 모델이 실시간 작업에 적합한가?
  • RQ3트랜스포머 기반 백본이 합성곱 기반 백본과 비교해 깊이 추정 정확도 및 데이터셋 간 일반화 면에서 어떻게 비교되는가?
  • RQ4MiDaS 아키텍처에 새로운 인코더 백본을 통합하기 위한 실용적인 지침은 무엇인가?
  • RQ5훈련 데이터 혼합을 3+10에서 5+12로 늘리는 것이 KITTI 및 NYU Depth v2에서 제로샷 성능에 어떤 영향을 미치는가?

주요 결과

  • BEiT 512-L은 정사각형 해상도와 비제한 해상도 모두에서 최상의 모델로, 베이스라인 대비 강한 상대 개선을 보인다.
  • Swin 및 SwinV2 백본 모델은 해상도와 속도에서 다양한 트레이드오프를 가지면서도 높은 품질의 깊이를 제공한다.
  • LeViT-224는 새로운 모델 중 가장 빠르며(최대 73 fps), 일부 구형 경량 모델보다 우수한 성능을 보인다.
  • 일부 비공개 백본(예: Swin-L, Swin-T, MobileViTv2 계열)은 낮은 이익이나 불확실한 이익을 보였고 공개되지 않아 품질 기준에 따른 선택을 시사한다.
  • 최고로 공개된 모델은 ViT-L 기준선 대비 상당한 이득(relative improvement I)을 달성하며, BEiT-512-L 및 BEiT-384-L 변형이 다양한 데이터셋에서 강한 성능을 보인다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.