[논문 리뷰] Improving Depth Gradient Continuity in Transformers: A Comparative Study on Monocular Depth Estimation with CNN

Jiawei Yao, Tong Wu외 1명|arXiv (Cornell University)|2023. 08. 16.

Advanced Vision and Imaging인용 수 45

한 줄 요약

Transformers는 단안 깊이 추정에서 글로벌 컨텍스트에 뛰어나나 깊이 그래디언트 연속성에 어려움을 보인다; 본 논문은 플러그 앤 플레이 Depth Gradient Refinement (DGR) 모듈과 Optimal Transport Depth Loss (OTDL)를 도입하여 Transformer 기반 깊이 추정을 향상시키고 NYU-Depth-V2와 KITTI에서 최첨단 결과를 달성한다.

ABSTRACT

Monocular depth estimation is an ongoing challenge in computer vision. Recent progress with Transformer models has demonstrated notable advantages over conventional CNNs in this area. However, there's still a gap in understanding how these models prioritize different regions in 2D images and how these regions affect depth estimation performance. To explore the differences between Transformers and CNNs, we employ a sparse pixel approach to contrastively analyze the distinctions between the two. Our findings suggest that while Transformers excel in handling global context and intricate textures, they lag behind CNNs in preserving depth gradient continuity. To further enhance the performance of Transformer models in monocular depth estimation, we propose the Depth Gradient Refinement (DGR) module that refines depth estimation through high-order differentiation, feature fusion, and recalibration. Additionally, we leverage optimal transport theory, treating depth maps as spatial probability distributions, and employ the optimal transport distance as a loss function to optimize our model. Experimental results demonstrate that models integrated with the plug-and-play Depth Gradient Refinement (DGR) module and the proposed loss function enhance performance without increasing complexity and computational costs on both outdoor KITTI and indoor NYU-Depth-v2 datasets. This research not only offers fresh insights into the distinctions between Transformers and CNNs in depth estimation but also paves the way for novel depth estimation methodologies.

연구 동기 및 목표

• 단안 깊이 추정에서 Transformer와 CNN의 성능을 시각화를 사용해 비교하고 관심 영역과 단서를 식별한다.
• Transformers가 깊이 그래디언트와 경계 처리에서 CNN과 어떻게 다른지 진단한다.
• 그래디언트 연속성을 개선하기 위해 Plug-and-play Depth Gradient Refinement (DGR) 모듈을 제안하고 검증한다.
• 훈련 중 깊이 분포 보전을 최적화하기 위해 Optimal Transport Depth Loss (OTDL)를 도입하고 평가한다.

제안 방법

• 희소 픽셀 마스크를 사용해 Transformer 및 CNN 깊이 예측기의 관심 영역을 식별한다.
• 각 Transformer 인코더 블록 뒤에 고차 도함수를 피처 재보정과 통합하는 Depth Gradient Refinement (DGR)를 개발하고 통합한다.
• 예상치와 실제 깊이 맵을 정규화된 분포로 간주하고 이차 비용 Mij=|i−j|^2인 Optimal Transport Depth Loss (OTDL)를 정의하고 적용한다.
• L_MSE와 L_OTDL을 결합해 깊이 추정 모델의 최종 학습 손실을 형성한다.
• NYU-Depth-V2와 KITTI 데이터셋에서 여러 Transformer 계열 백본(예: Adabins, DPT, TransDepth, PixelFormer, DepthFormer)에서 DGR 및 OT 기반 손실을 평가한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 단안 깊이 모델이 의존하는 단서는 무엇이고, 이 단서들은 CNN 기반 단서와 어떻게 다를까?
• RQ2 Transformers가 이미지 경계와 글로벌 컨텍스트에 더 민감하지만 깊이 그래디언트 연속성 유지에 덜 능숙한가?
• RQ3 Depth Gradient Refinement (DGR) 모듈이 모델 복잡도 증가 없이 깊이 그래디언트 연속성을 개선할 수 있는가?
• RQ4 Optimal Transport Depth Loss (OTDL)가 표준 MSE 손실을 보완해 깊이 분포 연속성과 전반적 정확도를 개선하는가?

주요 결과

• Transformers는 물체 경계와 그래디언트에 더 초점을 두어 에지에서 더 명확한 깊이 단서를 보이지만 매끄러운 영역에서 비자연적인 깊이 점프를 생성할 수 있다.
• 희소 입력 영역에서 Transformer는 동등한 희소성에서 CNN보다 깊이 추정 성능을 더 잘 유지하고, 영역이 마스킹될 때도 더 강인함을 보인다.
• DGR를 도입하면 Transformer 모델 전반에서 깊이 경계와 그래디언트 연속성이 개선되며 강력한 백본(PixelFormer + DGR)과 결합될 때 NYU-Depth-V2 및 KITTI에서 최첨단 결과를 달성한다.
• NYU-Depth-V2에서 PixelFormer + DGR은 Abs Rel 0.086 및 RMSE 0.310(delta1 0.937)로 달성; Adabins + DGR은 Abs Rel을 0.097, RMSE를 0.347로 개선한다.
• KITTI에서 DepthFormer + DGR은 Abs Rel 0.050 및 RMSE 2.124(delta1 0.979)을 달성하고, PixelFormer + DGR은 RMSE 2.041(Abs Rel 0.049)을 달성한다.
• L_MSE와 L_OTDL의 조합으로 NYU-Depth-V2에서 평가된 모든 모델에서 최상의 성능을 얻는다.