[논문 리뷰] VA-DepthNet: A Variational Approach to Single Image Depth Prediction

Ce Liu, Suryansh Kumar외 3명|arXiv (Cornell University)|2023. 02. 13.

Advanced Vision and Imaging인용 수 17

한 줄 요약

VA-DepthNet은 단일 이미지 심도 예측에서 1차 변분 제약을 도입하고, 심도 기울기를 예측하며 가중 최소자승 문제를 해결해 심도를 복구하고, KITTI와 NYU에서 최첨단 성능을 달성하는 한편 고주파 세부 정보를 보존합니다.

ABSTRACT

We introduce VA-DepthNet, a simple, effective, and accurate deep neural network approach for the single-image depth prediction (SIDP) problem. The proposed approach advocates using classical first-order variational constraints for this problem. While state-of-the-art deep neural network methods for SIDP learn the scene depth from images in a supervised setting, they often overlook the invaluable invariances and priors in the rigid scene space, such as the regularity of the scene. The paper's main contribution is to reveal the benefit of classical and well-founded variational constraints in the neural network design for the SIDP task. It is shown that imposing first-order variational constraints in the scene space together with popular encoder-decoder-based network architecture design provides excellent results for the supervised SIDP task. The imposed first-order variational constraint makes the network aware of the depth gradient in the scene space, i.e., regularity. The paper demonstrates the usefulness of the proposed approach via extensive evaluation and ablation analysis over several benchmark datasets, such as KITTI, NYU Depth V2, and SUN RGB-D. The VA-DepthNet at test time shows considerable improvements in depth prediction accuracy compared to the prior art and is accurate also at high-frequency regions in the scene space. At the time of writing this paper, our method -- labeled as VA-DepthNet, when tested on the KITTI depth-prediction evaluation set benchmarks, shows state-of-the-art results, and is the top-performing published approach.

연구 동기 및 목표

• SIDP를 장면 사전 및 규칙성이 정확도를 향상시킬 수 있는 잘-정의되지 않은 문제로 제시합니다.
• 깊이 기울기 규칙성을 강제하면서 불연속을 허용하는 변분 제약을 제안합니다.
• 깊이 기울기와 신뢰도 가중치를 예측하고 닫힌 해를 통해 깊이를 복구하는 네트워크를 개발합니다.
• 인코더-디코더 백본과 다단계 정제 파이프라인과 함께 변분 층을 통합하여 미터 단위의 심도(metric depth)를 예측합니다.

제안 방법

• stride-16/32 특징을 융합하는 V-layer로 깊이-기울기 구성 요소(Gamma_x, Gamma_y)와 신뢰도 가중치(Sigma_x, Sigma_y)를 예측합니다.
• 일차 차이를 이용한 과계산 시스템을 구성하고 학습 가능한 신뢰도 가중 행렬로 이를 근거로 Z_u를 해를 구하고 Z_u* = (P^T Σ^2 P)^{-1} P^T Σ^2 Γ.
• 1/16, 1/8, 1/4 해상도에서 계층적 3단계 정제를 통해 V-layer 심도 맵을 업샘플링하고 정제합니다.
• 풀링된 특징 맵에서 두 스칼라를 회귀하는 메트릭 층을 통해 전역 스케일과 시프트를 추정하여 미터 단위 심도를 복구합니다.
• 스케일 불변 심도 손실과 깊이-기울기와의 일치를 강제하는 변분 손실의 조합으로 학습합니다.
• KITTI, NYU Depth V2, 및 SUN RGB-D에서 고주파 세부 정보 보존 및 데이터셋 간 일반화 향상을 시연합니다.

실험 결과

연구 질문

• RQ1 1차 변분 제약을 강제하는 것이 순수 데이터 기반 접근법을 넘어서 SIDP 정확도를 향상시킬까?
• RQ2 예측된 깊이 기울기와 신뢰도 가중치가 깊이 복구 및 데이터셋 간 일반화에 어떻게 영향을 미치는가?
• RQ3 트랜스포머 기반 인코더와 통합된 변분 층이 표준 SIDP 벤치마크에서 최첨단 결과를 달성할 수 있는가?
• RQ4 V-layer, 다른 백본(backbones), 그리고 제거 연구가 성능과 효율성에 미치는 영향은?

주요 결과

• NYU Depth V2에서 SILog 8.198 및 delta1 0.937를 달성하여 기존 연구를 능가합니다.
• KITTI Eigen에서 SILog 6.817 및 delta1 0.977를 달성하여 다수의 최첨단 방법을 능가합니다.
• SUN RGB-D에서 SILog 12.596 및 delta1 0.929를 달성하며 NYU Depth V2에서 학습했을 때 데이터셋 간 일반화를 보여줍니다.
• Swin-L 백본과 V-layer를 갖춘 VA-DepthNet은 AdaBins 및 NeWCRFs에 비해 추론 시간과 매개변수 수가 우호적인 강한 정확성을 제공합니다.
• 절제 연구는 V-layer와 신뢰도 가중 변분 형태가 일반 컨볼루션이나 자기-주의 레이어와 같은 대안들보다 효능이 있음을 확인합니다.
• 본 방법은 장면 규칙성을 활용하여 전체 깊이 맵을 개선하는 동시에 고주파 깊이 세부 정보를 유지합니다.