[论文解读] GCNDepth: Self-supervised Monocular Depth Estimation based on Graph Convolutional Network

Armin Masoumian, Hatem A. Rashwan+3 more|arXiv (Cornell University)|Dec 13, 2021

Advanced Vision and Imaging被引用 6

一句话总结

本文提出GCNDepth，一种自监督单目深度估计模型，通过利用图卷积网络（GCNs）建模像素之间的拓扑关系，提升深度图的准确性。通过在U-Net类解码器中集成多尺度GCNs，并结合光度损失、重投影损失和平滑损失，该方法在KITTI和Make3D数据集上实现了89%的准确率，同时相比先前方法减少了40%的参数量。

ABSTRACT

Depth estimation is a challenging task of 3D reconstruction to enhance the accuracy sensing of environment awareness. This work brings a new solution with a set of improvements, which increase the quantitative and qualitative understanding of depth maps compared to existing methods. Recently, a convolutional neural network (CNN) has demonstrated its extraordinary ability in estimating depth maps from monocular videos. However, traditional CNN does not support topological structure and they can work only on regular image regions with determined size and weights. On the other hand, graph convolutional networks (GCN) can handle the convolution on non-Euclidean data and it can be applied to irregular image regions within a topological structure. Therefore, in this work in order to preserve object geometric appearances and distributions, we aim at exploiting GCN for a self-supervised depth estimation model. Our model consists of two parallel auto-encoder networks: the first is an auto-encoder that will depend on ResNet-50 and extract the feature from the input image and on multi-scale GCN to estimate the depth map. In turn, the second network will be used to estimate the ego-motion vector (i.e., 3D pose) between two consecutive frames based on ResNet-18. Both the estimated 3D pose and depth map will be used for constructing a target image. A combination of loss functions related to photometric, projection, and smoothness is used to cope with bad depth prediction and preserve the discontinuities of the objects. In particular, our method provided comparable and promising results with a high prediction accuracy of 89% on the publicly KITTI and Make3D datasets along with a reduction of 40% in the number of trainable parameters compared to the state of the art solutions. The source code is publicly available at https://github.com/ArminMasoumian/GCNDepth.git

研究动机与目标

• 通过建模图像像素之间的非欧几里得、拓扑关系，提升单目深度估计的准确性，克服传统CNN的局限性。
• 在不牺牲性能的前提下，减少深度估计网络中的可训练参数数量。
• 通过几何感知的特征学习，提升深度图质量，保留物体边界和不连续性。
• 开发一种自监督框架，消除对昂贵真实深度标注的依赖。
• 在低纹理和复杂光照条件下实现鲁棒的深度预测。

提出的方法

• 该模型采用双分支架构：一个分支使用ResNet-50结合多尺度GCNs进行深度估计，另一个分支使用ResNet-18进行连续帧之间的自运动预测。
• 在解码器中应用GCNs，基于学习到的拓扑结构在像素间传播特征，捕捉长距离依赖关系并保持几何一致性。
• 在解码器各层中实现多尺度GCN设计，使用不同的邻域感受野，以在不同粒度上建模空间相关性。
• 训练目标结合了光度损失（原始图像与重建图像之间）、重投影损失（用于处理遮挡）和平滑损失（用于保留边缘并减少纹理偏差）。
• 模型采用可微分的图像重建流程：利用预测的深度和估计的姿态，将源帧扭曲以重建目标帧。
• 损失函数通过反向传播端到端优化，GCN层使特征传播超越常规网格卷积，实现结构化传播。

实验结果

研究问题

• RQ1 图卷积网络能否通过超越规则网格结构的像素关系建模，提升深度估计的准确性？
• RQ2 在解码器中集成多尺度GCN如何增强特征表示并提升深度图质量？
• RQ3 与基于CNN的SOTA方法相比，基于GCN的自监督模型在保持或提升性能的同时，能在多大程度上减少参数量？
• RQ4 基于GCN的特征学习能否更好地保留物体边界，并在深度估计中处理低纹理区域？
• RQ5 光度损失、重投影损失和平滑损失的组合如何影响重建保真度和深度图不连续性的保持？

主要发现

• 在KITTI数据集上，GCNDepth的Abs-Rel测试误差为0.424，优于其他自监督方法，并接近有监督基线模型。
• 在Make3D数据集上，GCNDepth的RMSE为6.757，Sq-Rel为3.075，RMSE-log为0.107，展示了无需微调的强泛化能力。
• 与当前最先进的自监督方法相比，该模型将可训练参数量减少了40%，表明参数效率显著提升。
• 定性结果表明，GCNDepth在低纹理和复杂光照区域中更好地保留了物体边界和深度不连续性。
• 尽管Monodepth2在自监督方法中实现了最佳的Abs-Rel表现，GCNDepth在Make3D上的Sq-Rel和RMSE-log指标仍优于其表现。
• GCN的使用使模型在柱体、植被和建筑物等复杂区域的深度重建效果更优，深度边界比基线模型更清晰。