[论文解读] DepthFormer: Exploiting Long-Range Correlation and Local Information for Accurate Monocular Depth Estimation

Zhenyu Li, Zehui Chen+2 more|arXiv (Cornell University)|Mar 27, 2022

Advanced Vision and Imaging被引用 5

一句话总结

DepthFormer 提出了一种用于单目深度估计的混合 Transformer-CNN 编码器，通过自注意力机制捕捉长距离相关性，同时通过卷积分支保留局部细节，并引入一种新颖的分层聚合与异质交互（HAHI）模块以增强特征融合。该方法在 KITTI、NYU 和 SUN RGB-D 基准上实现了最先进性能，尤其在 KITTI 上取得了新的 SOTA 成绩，显著提升了准确率与效率。

ABSTRACT

This paper aims to address the problem of supervised monocular depth estimation. We start with a meticulous pilot study to demonstrate that the long-range correlation is essential for accurate depth estimation. Therefore, we propose to leverage the Transformer to model this global context with an effective attention mechanism. We also adopt an additional convolution branch to preserve the local information as the Transformer lacks the spatial inductive bias in modeling such contents. However, independent branches lead to a shortage of connections between features. To bridge this gap, we design a hierarchical aggregation and heterogeneous interaction module to enhance the Transformer features via element-wise interaction and model the affinity between the Transformer and the CNN features in a set-to-set translation manner. Due to the unbearable memory cost caused by global attention on high-resolution feature maps, we introduce the deformable scheme to reduce the complexity. Extensive experiments on the KITTI, NYU, and SUN RGB-D datasets demonstrate that our proposed model, termed DepthFormer, surpasses state-of-the-art monocular depth estimation methods with prominent margins. Notably, it achieves the most competitive result on the highly competitive KITTI depth estimation benchmark. Our codes and models are available at https://github.com/zhyever/Monocular-Depth-Estimation-Toolbox.

研究动机与目标

• 解决 CNN 在建模长距离相关性方面的局限性，以及 Transformer 在缺乏空间归纳偏置以捕捉局部细节方面的不足，以应对单目深度估计中的挑战。
• 通过联合利用 Transformer（全局上下文）和 CNN（局部结构）的优势，提升深度估计的准确性。
• 通过专用的交互机制克服独立分支晚期融合导致的特征融合瓶颈。
• 通过可变形注意力机制降低高分辨率特征图上全局自注意力的显存开销。
• 在主要深度估计基准上建立新的最先进水平，尤其在 KITTI 上表现突出。

提出的方法

• 模型采用双分支编码器结构：视觉 Transformer 分支用于建模长距离依赖关系，CNN 分支用于保留局部空间细节。
• 引入分层聚合与异质交互（HAHI）模块，通过多层次自注意力和 Transformer 与 CNN 特征之间的交叉注意力机制增强特征表示。
• HAHI 模块采用可变形自注意力（DSA）机制，通过仅关注可学习的关键点子集而非所有像素，降低计算成本。
• 可变形交叉注意力（DCA）模块以集合到集合的映射方式建模异质特征之间的亲和力，实现结构化的特征交互。
• 框架使用标准解码器头进行深度预测，并采用监督损失函数进行端到端训练。
• 可变形注意力机制被应用于所有层次的特征阶段，以在保持高分辨率特征表示的同时减少显存占用。

实验结果

研究问题

• RQ1 混合 Transformer-CNN 编码器是否能在单目深度估计中超越标准 CNN 或纯 Transformer 编码器？
• RQ2 专用的特征交互模块（如 HAHI）在提升长距离与局部特征融合方面是否具有显著效果？
• RQ3 使用可变形注意力是否能在保持高分辨率特征图性能的同时降低显存开销？
• RQ4 所提方法是否能在 KITTI、NYU 和 SUN RGB-D 等标准基准上实现最先进性能？
• RQ5 长距离建模与局部细节保留对深度估计准确率的相对贡献如何？

主要发现

• DepthFormer 在极具挑战性的 KITTI 单目深度估计基准上实现了新的最先进性能，展现出卓越的准确性。
• 与单层次注意力相比，采用多层级可变形自注意力（DSA）使 RMS 误差降低了 4.9%。
• 引入可变形交叉注意力（DCA）使 RMS 误差进一步降低 2.2%，证实其在异质特征交互中的有效性。
• HAHI 模块显著提升了模型性能，尤其在近物体检出中表现突出，此时局部一致性至关重要。
• DepthFormer 保持了较高的推理速度，在 KITTI 验证集上同时优于以往 SOTA 方法的准确率（δ₁）与推理速度。
• 消融实验表明，多层级 DSA 与 DCA 的组合对实现最优性能至关重要，若任一模块被移除，性能将显著下降。