[论文解读] Bidirectional Attention Network for Monocular Depth Estimation

Shubhra Aich, Jean Marie Uwabeza Vianney+3 more|arXiv (Cornell University)|Sep 1, 2020

Advanced Vision and Imaging参考文献 39被引用 9

一句话总结

该论文提出双向注意力网络（BANet），一种轻量级、端到端的单目深度估计框架，通过在主干网络之后应用双向注意力模块，整合局部与全局上下文，增强特征表示。该方法通过利用深度到空间（D2S）变换和全分辨率下的阶段式注意力优化，在减少计算复杂度和参数量的同时，在KITTI和DIODE数据集上实现了最先进性能。

ABSTRACT

In this paper, we propose a Bidirectional Attention Network (BANet), an end-to-end framework for monocular depth estimation (MDE) that addresses the limitation of effectively integrating local and global information in convolutional neural networks. The structure of this mechanism derives from a strong conceptual foundation of neural machine translation, and presents a light-weight mechanism for adaptive control of computation similar to the dynamic nature of recurrent neural networks. We introduce bidirectional attention modules that utilize the feed-forward feature maps and incorporate the global context to filter out ambiguity. Extensive experiments reveal the high degree of capability of this bidirectional attention model over feed-forward baselines and other state-of-the-art methods for monocular depth estimation on two challenging datasets -- KITTI and DIODE. We show that our proposed approach either outperforms or performs at least on a par with the state-of-the-art monocular depth estimation methods with less memory and computational complexity.

研究动机与目标

• 解决现有基于CNN的单目深度估计模型在有效整合局部与全局上下文方面的局限性。
• 克服标准主干架构中空间下采样导致的表征模糊性问题。
• 开发一种轻量级、高效的注意力机制，可在主干网络之后以全空间分辨率运行。
• 在不增加模型复杂度的前提下，提升深度估计精度，特别是在细长树干和明亮/暗淡背景等挑战性区域。
• 证明受神经机器翻译启发的双向注意力机制，可在更低内存占用和FLOPs下实现优于或匹配SOTA方法的性能。

提出的方法

• 提出一种双向注意力机制，在CNN主干网络各阶段的特征图经过深度到空间（D2S）变换以恢复全分辨率后，对其进行优化。
• 应用前向与后向注意力模块，分别利用早期和后期阶段的特征来优化当前阶段的特征，实现双向上下文聚合。
• 通过在每个阶段将场景级上下文注入D2S变换后的单通道特征图中，实现全局上下文聚合，提升在模糊区域的可靠性。
• 通过在单通道特征图（H×W×1）上应用注意力而非高维特征图，实现轻量化设计，降低FLOPs和参数量。
• 采用多阶段优化流水线，注意力权重在各阶段间动态计算，使网络能够聚焦于显著的深度线索。
• 将自然语言处理中双向RNN的概念迁移至计算机视觉，应用于单目深度估计等密集回归任务。

实验结果

研究问题

• RQ1 双向注意力机制是否能通过整合特征图中过去与未来的上下文，提升单目深度估计性能？
• RQ2 在主干网络之后、全分辨率下应用注意力，是否比在主干网络内部或下采样特征上应用注意力带来更好的性能？
• RQ3 轻量级注意力机制是否能在降低计算成本和参数量的同时，实现优于或匹配SOTA模型的性能？
• RQ4 全局上下文聚合在细长结构或高对比度背景等挑战性区域中，对性能有何影响？
• RQ5 在不同网络阶段中，前向注意力与后向注意力对优化深度预测的相对贡献如何？

主要发现

• BANet-Full（完整双向变体）在KITTI和DIODE数据集上均达到最先进性能，在AbsRel、SqRel和RMSE等关键指标上优于或匹配SOTA方法。
• BANet-Backward（后向变体）优于BANet-Forward（前向变体），表明利用未来上下文优化早期阶段特征比反之更有效。
• 原始模型（无注意力）的性能优于DORN和DenseDepth，表明通过D2S实现全分辨率预测，优于多尺度上采样。
• BANet-Markov（仅使用前一阶段进行注意力）性能低于完整BANet，表明遗忘远距离上下文会限制性能。
• 全局上下文聚合显著提升了细粒度区域（如树干、窗框）的预测质量，即使像素覆盖率较低，也能减少误检。
• BANet在参数量更少、FLOPs更低的情况下，仍实现优于近期SOTA模型的性能，证明其在不牺牲精度的前提下具备极高效率。