[论文解读] Improving Depth Gradient Continuity in Transformers: A Comparative Study on Monocular Depth Estimation with CNN

Jiawei Yao, Tong Wu+1 more|arXiv (Cornell University)|Aug 16, 2023

Advanced Vision and Imaging被引用 45

一句话总结

Transformers 在单目深度估计中在全局上下文方面表现出色，但在深度梯度连续性方面存在困难；本文引入一个即插即用的 Depth Gradient Refinement (DGR) 模块和一个 Optimal Transport Depth Loss (OTDL)，以提升基于 Transformer 的深度估计，在 NYU-Depth-V2 和 KITTI 上实现了最先进的结果。

ABSTRACT

Monocular depth estimation is an ongoing challenge in computer vision. Recent progress with Transformer models has demonstrated notable advantages over conventional CNNs in this area. However, there's still a gap in understanding how these models prioritize different regions in 2D images and how these regions affect depth estimation performance. To explore the differences between Transformers and CNNs, we employ a sparse pixel approach to contrastively analyze the distinctions between the two. Our findings suggest that while Transformers excel in handling global context and intricate textures, they lag behind CNNs in preserving depth gradient continuity. To further enhance the performance of Transformer models in monocular depth estimation, we propose the Depth Gradient Refinement (DGR) module that refines depth estimation through high-order differentiation, feature fusion, and recalibration. Additionally, we leverage optimal transport theory, treating depth maps as spatial probability distributions, and employ the optimal transport distance as a loss function to optimize our model. Experimental results demonstrate that models integrated with the plug-and-play Depth Gradient Refinement (DGR) module and the proposed loss function enhance performance without increasing complexity and computational costs on both outdoor KITTI and indoor NYU-Depth-v2 datasets. This research not only offers fresh insights into the distinctions between Transformers and CNNs in depth estimation but also paves the way for novel depth estimation methodologies.

研究动机与目标

• 使用可视化来识别关注区域和线索，比较 Transformer 与 CNN 在单目深度估计中的性能。
• 诊断 Transformer 与 CNN 在处理深度梯度和边界方面的差异。
• 提出并验证一个即插即用的 Depth Gradient Refinement (DGR) 模块，以提高基于 Transformer 的深度估计中的梯度连续性。
• 引入并评估一个 Optimal Transport Depth Loss (OTDL)，在训练中优化深度分布的保持。

提出的方法

• 使用稀疏像素掩膜来识别 Transformer 和 CNN 深度预测器的感兴趣区域。
• 开发并集成 Depth Gradient Refinement (DGR)，在每个 Transformer 编码器块后将更高阶深度导数与特征重新标定融合。
• 定义并应用 Optimal Transport Depth Loss (OTDL)，将预测深度图和地面真值深度图作为归一化分布进行比较，二次代价 Mij=|i−j|^2。
• 将 L_MSE 与 L_OTDL 相结合，构成训练深度估计模型的最终损失。
• 在 NYU-Depth-V2 和 KITTI 数据集上，评估 DGR 以及基于 OT 的损失在多种基于 Transformer 的骨干网络（如 Adabins、DPT、TransDepth、PixelFormer、DepthFormer）上的表现。

实验结果

研究问题

• RQ1 基于 Transformer 的单目深度模型依靠哪些线索，这些线索与 CNN 基线的线索有何不同？
• RQ2 Transformer 是否比 CNN 更容易受图像边界和全局上下文的影响，但在保持深度梯度连续性方面能力较弱？
• RQ3 Depth Gradient Refinement (DGR) 模块是否能在不增加模型复杂度的前提下改善深度梯度连续性？
• RQ4 OTDL 是否能与标准的 MSE 损失互补，以改善深度分布的连续性和整体准确性？

主要发现

• Transformers 更关注对象边界和梯度，在边缘处显示出更清晰的深度线索，但在平滑区域可能产生不自然的深度跃变。
• 在稀疏输入区域下，Transformers 在等效稀疏度下保持高于 CNN 的深度估计性能，并且在区域被遮罩时仍然更鲁棒。
• 将 DGR 纳入后，提升了 Transformer 模型的深度边界和梯度连续性，并在强骨干（如 PixelFormer + DGR）配合下在 NYU-Depth-V2 和 KITTI 上实现了最先进的结果。
• 在 NYU-Depth-V2 上，PixelFormer + DGR 达到 Abs Rel 0.086 和 RMSE 0.310（delta1 0.937）；Adabins + DGR 将 Abs Rel 提升至 0.097，RMSE 提升至 0.347。
• 在 KITTI 上，DepthFormer + DGR 达到 Abs Rel 0.050 和 RMSE 2.124（delta1 0.979），而 PixelFormer + DGR 则实现 RMSE 2.041（Abs Rel 0.049）。
• 在 NYU-Depth-V2 上，结合 L_MSE 与 L_OTDL 的训练在所有评估模型中提供了最佳性能。