[论文解读] GLPanoDepth: Global-to-Local Panoramic Depth Estimation

Jiayang Bai, Shuichang Lai+3 more|arXiv (Cornell University)|Feb 6, 2022

Advanced Vision and Imaging被引用 10

一句话总结

GLPanoDepth 提出了一种用于单目全景深度估计的全局到局部深度学习框架，采用一种新型的立方体贴图视觉变换器（CViT）从等距投影全景图中提取无畸变的全局特征，结合卷积分支捕捉局部细节，并通过门控融合模块实现特征融合，从而在多个基准测试中达到最先进性能。

ABSTRACT

In this paper, we propose a learning-based method for predicting dense depth values of a scene from a monocular omnidirectional image. An omnidirectional image has a full field-of-view, providing much more complete descriptions of the scene than perspective images. However, fully-convolutional networks that most current solutions rely on fail to capture rich global contexts from the panorama. To address this issue and also the distortion of equirectangular projection in the panorama, we propose Cubemap Vision Transformers (CViT), a new transformer-based architecture that can model long-range dependencies and extract distortion-free global features from the panorama. We show that cubemap vision transformers have a global receptive field at every stage and can provide globally coherent predictions for spherical signals. To preserve important local features, we further design a convolution-based branch in our pipeline (dubbed GLPanoDepth) and fuse global features from cubemap vision transformers at multiple scales. This global-to-local strategy allows us to fully exploit useful global and local features in the panorama, achieving state-of-the-art performance in panoramic depth estimation.

研究动机与目标

• 解决全卷积神经网络在全景深度估计中全局上下文建模能力有限的挑战。
• 克服全景图像等距投影固有的空间变化畸变问题。
• 利用视觉变换器的长距离依赖建模能力，同时通过专用CNN分支保留局部空间结构。
• 设计一种双分支架构，在多尺度上融合全局与局部特征，以提升深度预测质量。
• 在无需对场景朝向或重力对齐作强假设的前提下，实现在全景深度估计基准上的最先进性能。

提出的方法

• 提出立方体贴图视觉变换器（CViT），一种视觉变换器变体，通过将球面全景图投影到立方体贴图上，消除等距投影畸变，实现全局特征提取。
• 设计双流网络：一个分支使用CViT从立方体贴图投影中提取全局无畸变特征，另一分支使用标准卷积层捕捉局部高频细节。
• 实现多尺度门控融合模块，逐步融合双分支特征，支持基于空间上下文的动态特征加权。
• 采用基于RefineNet的特征融合模块，对多阶段特征进行上采样与精细化处理，生成最终深度预测。
• 使用标准深度监督进行端到端训练，损失函数包含回归与边缘感知组件。
• 应用数据增强与归一化技术以提升泛化能力，尤其在稀疏深度标注的挑战性数据集上表现更优。

Figure 1 : We propose a global-to-local approach ( i.e. , GLPanoDepth) to recover a dense depth map from a single panorama. Benefited from the rich global information that have been extracted, the proposed method is able to preserve both global structures and local details as shown in 2D depth maps

实验结果

研究问题

• RQ1 基于视觉变换器的架构能否在避免等距投影畸变的前提下，有效建模全景图像中的长距离依赖？
• RQ2 将基于无畸变立方体贴图的视觉变换器提取的全局特征与卷积网络提取的局部特征相结合，如何提升全景深度估计性能？
• RQ3 在从单目全景图生成高精度深度图时，全局上下文建模与局部纹理保持的相对贡献分别是什么？
• RQ4 门控融合机制是否优于简单拼接操作，在结合全局与局部特征进行深度预测时？
• RQ5 所提方法的性能在多大程度上依赖于数据集规模与多样性，特别是在低资源数据场景下？

主要发现

• GLPanoDepth 在多个全景深度估计基准（包括 NYUv2、KITTI 和 Stanford2D3D）上达到最先进性能。
• 消融实验表明，若移除CNN分支（Ours(CViT)），将导致细粒度细节显著丢失，尤其在椅子腿、书架边缘等小结构上表现明显下降。
• 将CViT替换为标准ViT（Ours(ViT+CNN)）后性能下降，归因于等距输入中未缓解的畸变，证明立方体贴图投影的必要性。
• 门控融合模块在定量指标与定性结果上均优于简单拼接，生成更清晰的边缘与更优的前景-背景分离效果。
• 采用门控融合模块后，模型收敛更快，泛化能力更强，表明训练稳定性与特征学习效率得到提升。
• 该方法在小型数据集（如 Stanford2D3D，1,413 张图像）上表现受限，单一CViT分支无法收敛，凸显了大规模训练数据对基于Transformer模型的必要性。

Figure 2 : The overall architecture of GLPanoDepth. In the CViT branch, a cubemap is transformed into tokens by extracting non-overlapping patches on each face, followed by a linear projection of their flattened representation. This image embedding is augmented with a positional embedding and is pas