[论文解读] Deep Digging into the Generalization of Self-Supervised Monocular Depth Estimation

Jin Woo Bae, Sungho Moon+1 more|arXiv (Cornell University)|May 23, 2022

Image Processing Techniques and Applications被引用 7

一句话总结

本文通过分析主干网络（CNN、Transformer 及其混合模型）对自监督单目深度估计的泛化能力进行了研究，发现形状偏好模型的泛化性能优于纹理偏好模型。作者提出 MonoFormer，一种结合 CNN 与 Transformer 的混合模型，采用多层级自适应特征融合机制，在增强形状偏好性的同时保留局部归纳偏置，实现了最先进性能，并在多种未见数据集上展现出卓越的泛化能力。

ABSTRACT

Self-supervised monocular depth estimation has been widely studied recently. Most of the work has focused on improving performance on benchmark datasets, such as KITTI, but has offered a few experiments on generalization performance. In this paper, we investigate the backbone networks (e.g. CNNs, Transformers, and CNN-Transformer hybrid models) toward the generalization of monocular depth estimation. We first evaluate state-of-the-art models on diverse public datasets, which have never been seen during the network training. Next, we investigate the effects of texture-biased and shape-biased representations using the various texture-shifted datasets that we generated. We observe that Transformers exhibit a strong shape bias and CNNs do a strong texture-bias. We also find that shape-biased models show better generalization performance for monocular depth estimation compared to texture-biased models. Based on these observations, we newly design a CNN-Transformer hybrid network with a multi-level adaptive feature fusion module, called MonoFormer. The design intuition behind MonoFormer is to increase shape bias by employing Transformers while compensating for the weak locality bias of Transformers by adaptively fusing multi-level representations. Extensive experiments show that the proposed method achieves state-of-the-art performance with various public datasets. Our method also shows the best generalization ability among the competitive methods.

研究动机与目标

• 研究自监督单目深度估计模型在多种未见数据集上的泛化性能。
• 分析纹理偏好表征与形状偏好表征对模型泛化性能的影响。
• 理解 CNN（纹理偏好）与 Transformer（形状偏好）在深度估计中的权衡关系。
• 设计一种混合架构，在增强形状偏好性的同时弥补 Transformer 局部归纳偏置较弱的缺陷。
• 在多个公开基准上实现最先进性能与稳健的泛化能力。

提出的方法

• 作者在训练过程中未见过的多样化分布外数据集上评估最先进模型。
• 通过生成纹理扰动的数据集版本，探测模型对纹理与形状线索的依赖程度。
• 引入多层级自适应特征融合模块，在不同感受野尺度上融合 CNN 与 Transformer 特征。
• 混合网络 MonoFormer 整合 CNN 用于局部特征学习，Transformer 用于全局上下文建模。
• 自适应融合机制根据特征的空间与通道相关性动态加权。
• 采用图像重建与深度一致性目标，以自监督方式训练模型。

实验结果

研究问题

• RQ1 在自监督单目深度估计中，不同主干架构（CNN、Transformer、混合模型）在未见数据集上的泛化能力如何？
• RQ2 纹理偏好与形状偏好表征在多大程度上影响模型的泛化性能？
• RQ3 能否通过平衡形状偏好与局部归纳偏置，使 CNN-Transformer 混合架构提升泛化能力？
• RQ4 自适应多层级特征融合机制如何增强深度估计性能与鲁棒性？
• RQ5 增强形状偏好是否能提升自监督深度估计的泛化能力？

主要发现

• 通过纹理扰动数据集评估验证，Transformer 展现出强形状偏好，而 CNN 展现出强纹理偏好。
• 在分布外数据集上，形状偏好模型的泛化性能显著优于纹理偏好模型。
• 所提出的 MonoFormer 在多个公开基准（包括 KITTI、Cityscapes 和 NYU Depth v2）上达到最先进性能。
• 在多种未见数据集上，MonoFormer 在各类竞争方法中展现出最佳泛化能力。
• 多层级自适应特征融合机制有效平衡了 Transformer 的全局上下文与 CNN 的局部归纳偏置。
• 消融实验验证，增强形状偏好可提升泛化性能，证实了 MonoFormer 设计理念的合理性。