[论文解读] Channel-Wise Attention-Based Network for Self-Supervised Monocular Depth Estimation

Jiaxing Yan, Hong Zhao+2 more|arXiv (Cornell University)|Dec 24, 2021

Advanced Vision and Imaging被引用 10

一句话总结

该论文提出CADepth-Net，一种自监督单目深度估计网络，通过通道注意力机制增强场景结构感知与局部细节恢复。通过集成用于长程上下文建模的自注意力结构感知模块，以及用于特征重校准的通道注意力细节增强模块，该方法在KITTI和Make3D基准上实现了最先进性能，深度预测更清晰，模糊程度更低。

ABSTRACT

Self-supervised learning has shown very promising results for monocular depth estimation. Scene structure and local details both are significant clues for high-quality depth estimation. Recent works suffer from the lack of explicit modeling of scene structure and proper handling of details information, which leads to a performance bottleneck and blurry artefacts in predicted results. In this paper, we propose the Channel-wise Attention-based Depth Estimation Network (CADepth-Net) with two effective contributions: 1) The structure perception module employs the self-attention mechanism to capture long-range dependencies and aggregates discriminative features in channel dimensions, explicitly enhances the perception of scene structure, obtains the better scene understanding and rich feature representation. 2) The detail emphasis module re-calibrates channel-wise feature maps and selectively emphasizes the informative features, aiming to highlight crucial local details information and fuse different level features more efficiently, resulting in more precise and sharper depth prediction. Furthermore, the extensive experiments validate the effectiveness of our method and show that our model achieves the state-of-the-art results on the KITTI benchmark and Make3D datasets.

研究动机与目标

• 解决现有自监督单目深度估计方法在显式建模三维场景几何结构以及保持细粒度局部细节方面的局限性。
• 通过增强全局场景理解与精确边界定位，提升深度预测质量。
• 开发一种轻量化但高效的网络架构，在无需依赖昂贵LiDAR提供真值的情况下实现高性能。
• 验证通道注意力机制在捕捉长程依赖关系与跨尺度强调信息特征方面的有效性。

提出的方法

• 引入结构感知模块，在通道维度应用自注意力，聚合长程上下文特征，增强场景结构表征。
• 采用基于通道注意力的细节增强模块，对特征图进行重校准，选择性放大信息量高的通道，尤其强化编码物体边界的通道。
• 在解码器的多个阶段应用细节增强模块，逐步细化空间细节并提升分辨率恢复能力。
• 采用多尺度特征融合策略，通道注意力实现高层与低层特征更高效的融合。
• 通过可微分的视角合成，利用单目视频或立体图像对作为自监督信号，避免对真值深度的依赖。
• 采用深度监督损失与光度一致性损失相结合的方式，端到端训练网络。

Figure 1: Depth prediction from a single image. Our proposed CADepth-Net produces more precise and sharper depth estimation, especially for thin structures e.g. road signs and pedestrians.

实验结果

研究问题

• RQ1 通道维度的自注意力机制是否能改善单目深度估计中长程依赖关系的建模，从而提升场景结构感知能力？
• RQ2 通过注意力机制实现的通道特征重校准，是否能增强局部细节的保留并减少深度预测中的模糊？
• RQ3 结构感知与细节增强模块的集成是否能在不同主干网络架构上带来一致的性能提升？
• RQ4 所提方法是否能在KITTI和Make3D等标准基准上实现最先进性能，而无需依赖标注的深度监督？

主要发现

• 在KITTI基准上，CADepth-Net使用ResNet50实现了新的最先进结果，平均绝对相对误差（Abs Rel）为0.105，log10误差为0.159。
• 与基线相比，结构感知模块在δ<1.25指标上提升了0.003，计算成本极低且未增加参数量。
• 与基线相比，细节增强模块在KITTI上将RMSE误差降低了0.351，显著提升了深度不连续处的清晰度。
• 在Make3D数据集上，该方法实现了Abs Rel为0.312，log10误差为0.159，优于以往的自监督方法。
• 消融实验表明，两个模块独立且协同贡献，完整模型在RTX3090 GPU上参数量为58.34M，推理时间为28.41ms。
• 可视化结果表明，细节增强模块聚焦于编码物体边缘的低层特征，证实其在提升边界精度方面的作用。

Figure 2: Overview of Framework. Our proposed CADepth-Net is a fully convolutional U-Net architecture. We first use a ResNet encoder to extract semantic features and input them to the Structure Perception Module . We perform the matrix multiplication between input features and attention maps to gene