[论文解读] Improving 360 Monocular Depth Estimation via Non-local Dense Prediction Transformer and Joint Supervised and Self-supervised Learning

Ilwi Yun, Hyuk-Jae Lee+1 more|arXiv (Cornell University)|Sep 22, 2021

Advanced Vision and Imaging被引用 4

一句话总结

本文提出了一种新颖的360°单目深度估计方法，采用非局部密集预测Transformer与联合监督-自监督学习，以克服现有方法在数据稀缺性和训练不稳定性方面的局限。通过利用重力对齐的视频进行自监督训练，并结合监督学习，该方法在多个基准测试中实现了最先进性能，显著提升了泛化能力与深度重建精度，尤其在存在遮挡和无纹理区域的复杂场景中表现优异。

ABSTRACT

Due to difficulties in acquiring ground truth depth of equirectangular (360) images, the quality and quantity of equirectangular depth data today is insufficient to represent the various scenes in the world. Therefore, 360 depth estimation studies, which relied solely on supervised learning, are destined to produce unsatisfactory results. Although self-supervised learning methods focusing on equirectangular images (EIs) are introduced, they often have incorrect or non-unique solutions, causing unstable performance. In this paper, we propose 360 monocular depth estimation methods which improve on the areas that limited previous studies. First, we introduce a self-supervised 360 depth learning method that only utilizes gravity-aligned videos, which has the potential to eliminate the needs for depth data during the training procedure. Second, we propose a joint learning scheme realized by combining supervised and self-supervised learning. The weakness of each learning is compensated, thus leading to more accurate depth estimation. Third, we propose a non-local fusion block, which can further retain the global information encoded by vision transformer when reconstructing the depths. With the proposed methods, we successfully apply the transformer to 360 depth estimations, to the best of our knowledge, which has not been tried before. On several benchmarks, our approach achieves significant improvements over previous works and establishes a state of the art.

研究动机与目标

• 解决360°等距投影深度数据稀缺且质量差的问题，后者限制了监督学习的性能。
• 克服自监督360°深度学习中常见的不稳定性与解不唯一性问题，尤其是在反射或无纹理表面的情况下。
• 提出一种联合学习方案，结合监督与自监督信号，以弥补各自方法的不足。
• 设计一种非局部融合模块，以增强视觉Transformer在密集深度预测中对全局特征的保留能力。
• 在缺乏大规模标注数据的情况下，实现视觉Transformer在360°深度估计中的有效训练。

提出的方法

• 提出一种仅使用重力对齐视频序列的自监督学习方法，训练过程中无需真实深度标注。
• 引入一种联合学习目标，结合监督损失（$\mathcal{L}_{pix} + \mathcal{L}_{grad}$）与自监督损失（$\mathcal{L}_{I} + \mathcal{L}_{D}$），以提升模型的鲁棒性与精度。
• 设计一种非局部融合块（NLFB），通过在特征图中聚合长距离依赖关系，增强全局上下文建模能力，以提升深度重建效果。
• 利用在平面图像上预训练的视觉Transformer主干网络初始化特征，即使在监督信号有限的情况下，也能实现对360°数据的有效微调。
• 应用一致性损失（$\mathcal{L}_{D}$），比较预测深度与相邻帧特征经变换后的结果，以稳定自监督学习过程。
• 采用多尺度监督策略，在多个层级施加监督，以提升特征表示能力与深度细节。

实验结果

研究问题

• RQ1 在重力对齐的视频序列上进行自监督学习，是否能够消除360°单目深度估计中对真实深度标注的依赖？
• RQ2 结合监督与自监督学习是否能产生比单独使用任一方法更准确、更稳定的深度预测结果？
• RQ3 非局部融合块是否能提升视觉Transformer在密集360°深度预测中的全局上下文建模能力？
• RQ4 联合学习方案在监督训练中如何缓解因真实深度标注不准确或缺失而引起的误差？
• RQ5 与先前的最先进方法相比，该方法在未见场景与数据集上的泛化能力如何？

主要发现

• 所提方法在多个基准测试（包括3D60与Structure3D）中均达到最先进性能，在所有指标上均优于先前方法。
• 联合使用监督与自监督损失显著提升了深度估计精度，尤其在无纹理或被遮挡区域表现更优。
• 非局部融合块（NLFB）通过保留全局上下文信息，减少了伪影并提升了物体边界的一致性，从而改善了深度重建效果。
• 定性结果表明，联合学习方案能正确区分窗户与墙壁、沙发与地板，而基线方法在这些情况下表现失败。
• 消融实验表明，当与监督损失结合时，自监督损失（$\mathcal{L}_{I}$ 与 $\mathcal{L}_{D}$）显著提升了性能，尤其在处理模糊或噪声真实深度标注时表现突出。
• 采用完整联合目标与NLFB训练的模型在所有测试集上均取得最佳结果，验证了各组件在独立与联合使用时的有效性。