[논문 리뷰] Depth Pro: Sharp Monocular Metric Depth in Less Than a Second

Aleksei Bochkovskii, Amaël Delaunoy외 5명|arXiv (Cornell University)|2024. 10. 02.

Advanced Measurement and Metrology Techniques인용 수 14

한 줄 요약

Depth Pro는 영샷 제로샷 메트릭 단안 깊이 모델로, V100 GPU에서 절대 스케일이 있는 고해상도 선명한 메트릭 깊이 맵을 0.3초 만에 출력합니다. 다중 스케일 ViT 기반 아키텍처와 실제/합성 학습 커리큘럼의 결합을 사용합니다.

ABSTRACT

We present a foundation model for zero-shot metric monocular depth estimation. Our model, Depth Pro, synthesizes high-resolution depth maps with unparalleled sharpness and high-frequency details. The predictions are metric, with absolute scale, without relying on the availability of metadata such as camera intrinsics. And the model is fast, producing a 2.25-megapixel depth map in 0.3 seconds on a standard GPU. These characteristics are enabled by a number of technical contributions, including an efficient multi-scale vision transformer for dense prediction, a training protocol that combines real and synthetic datasets to achieve high metric accuracy alongside fine boundary tracing, dedicated evaluation metrics for boundary accuracy in estimated depth maps, and state-of-the-art focal length estimation from a single image. Extensive experiments analyze specific design choices and demonstrate that Depth Pro outperforms prior work along multiple dimensions. We release code and weights at https://github.com/apple/ml-depth-pro

연구 동기 및 목표

• 카메라 내부 파라미터 없이 절대 스케일 깊이를 출력하는 제로샷, 메트릭 단안 깊이 추정기를 개발한다.
• 머리카락/모피/식생 등 미세 구조를 포함한 고해상도이고 경계까지 정확한 깊이 맵을 달성한다.
• 대화형 뷰 합성 및 관련 응용을 가능하게 하는 낮은 지연 시간을 유지한다.
• EXIF 데이터 없이 단일 이미지에서 초점 거리를 추정하여 강건한 메트릭 깊이를 제공한다.
• 매팅/세그먼테이션 데이터셋을 사용한 깊이 경계 충실도 평가 지표를 도입한다.

제안 방법

• 고정된 고해상도(1536x1536)로 작동하는 일반 ViT 기반 아키텍처를 적용하고, 다중 스케일에서 패치를 처리하여 DPT 스타일 디코더로 융합한다.
• 입력 이미지 I로부터 표준 역깊이 C를 예측한 다음, Dm = f_px / (w C)로 메트릭 깊이를 구한다. 여기서 f_px는 초점 길이이고 w는 이미지 너비이다.
• 경계 샤프함과 픽셀 단위 정확도를 균형 있게 맞추기 위해 실제 데이터와 합성 데이터셋을 혼합한 두 단계 커리큘럼으로 학습한다(1단계: 강건한 도메인 간 특징; 2단계: 고품질 합성 지상 실제를 사용한 경계 샤프닝).
• 다중 스케일 파생 손실(MAGE, MALE, MSGE)을 도입하여 스케일 전반에 걸쳐 경계의 샤프함과 세부를 강제한다.
• 중간 특징으로부터의 제로샷 초점 거리 추정과 수평 시야각을 예측하도록 별도로 학습된 전용 초점 거리 헤드를 결합한 제로샷 초점 거리 추정을 제안한다.
• 매팅/세그먼테이션 주석을 활용한 경계 중심 평가 지표를 개발하여 가려진 윤곽선과 경계 재생을 정량화한다.

실험 결과

연구 질문

• RQ1 카메라 내부 파라미터 없이 제로샷 단안 깊이 모델이 메트릭 절대 스케일 깊이를 생성할 수 있는가?
• RQ2 다중 스케일 ViT 기반 아키텍처가 빠른 실행 시간을 유지하면서 고해상도에서 더 선명한 깊이 경계를 얻을 수 있는가?
• RQ3 실제 데이터와 합성 데이터의 혼합 학습과 특화된 경계 중심 손실이 깊이 맵의 경계 충실도를 어떻게 향상시키는가?
• RQ4 제로샷 설정에서 단일 이미지로도 고정확도로 초점 거리를 추정할 수 있는가?
• RQ5 새로운 경계 인식 평가 지표가 뷰 합성 및 편집 작업에서의 실제 개선과 상관 관계가 있는가?

주요 결과

• Depth Pro는 V100 GPU에서 0.3초 만에 2.25메가픽셀 해상도의 깊이 맵을 절대 메트릭 깊이와 함께 제공하고 카메라 내부 파라미터 없이 작동한다.
• Depth Pro는 경계 재현에서 우수한 정확도를 보이며 여러 데이터셋에서 경계 재현에서 이전 연구를 배수의 여유로 능가한다.
• 제로샷 메트릭 깊이에서 Depth Pro는 Booster, ETH3D, Middlebury, NuScenes, Sintel, Sun-RGBD 데이터셋에서 평균적으로 최고 순위를 차지한다.
• Depth Pro는 확산 기반 Marigold 및 패치 기반 PatchFusion 기준선보다 속도가 훨씬 빠르고 경계가 더 샤프하다.
• Depth Pro를 사용한 단일 이미지의 초점 거리 추정은 큐레이션된 제로샷 데이터셋에서 이전의 초점 거리 예측기보다 크게 우수하다.