[论文解读] Depth from Monocular Images using a Semi-Parallel Deep Neural Network (SPDNN) Hybrid Architecture

Shabab Bazrafkan, Hossein Javidnia+2 more|arXiv (Cornell University)|Mar 10, 2017

Advanced Vision and Imaging参考文献 31被引用 4

一句话总结

本文提出了一种半并行深度神经网络（SPDNN）混合架构，通过将多个卷积神经网络与共享的特征提取层相结合，以提升单目深度估计性能。通过融合不同网络分支的特征并利用基于图的优化技术，SPDNN在引入分割数据时显著提升了精度，在KITTI数据集上接近立体匹配方法的性能，同时减少了计算冗余。

ABSTRACT

Deep neural networks are applied to a wide range of problems in recent years. In this work, Convolutional Neural Network (CNN) is applied to the problem of determining the depth from a single camera image (monocular depth). Eight different networks are designed to perform depth estimation, each of them suitable for a feature level. Networks with different pooling sizes determine different feature levels. After designing a set of networks, these models may be combined into a single network topology using graph optimization techniques. This "Semi Parallel Deep Neural Network (SPDNN)" eliminates duplicated common network layers, and can be further optimized by retraining to achieve an improved model compared to the individual topologies. In this study, four SPDNN models are trained and have been evaluated at 2 stages on the KITTI dataset. The ground truth images in the first part of the experiment are provided by the benchmark, and for the second part, the ground truth images are the depth map results from applying a state-of-the-art stereo matching method. The results of this evaluation demonstrate that using post-processing techniques to refine the target of the network increases the accuracy of depth estimation on individual mono images. The second evaluation shows that using segmentation data alongside the original data as the input can improve the depth estimation results to a point where performance is comparable with stereo depth estimation. The computational time is also discussed in this study.

研究动机与目标

• 解决使用深度学习从单张单目图像中估计深度的挑战。
• 设计一种混合神经网络架构，以减少多个网络分支间的冗余并提升特征融合效果。
• 评估后处理和分割数据对深度估计精度的影响。
• 利用基于图的优化技术对网络结构进行优化，以消除重复层并提升效率。
• 将SPDNN模型的性能与独立网络及当前最先进的立体匹配方法进行比较。

提出的方法

• 设计了八个具有不同池化尺寸的独立CNN，以从单目图像中提取不同层次的特征。
• 通过在共享的低层融合这些网络，构建半并行架构，并利用图优化最小化冗余。
• 在融合后对SPDNN拓扑结构进行微调，以进一步提升性能，增强泛化能力和精度。
• 分两个阶段评估模型：首先使用KITTI基准的真实深度图作为监督信号，然后使用最先进的立体匹配方法生成的深度图作为目标。
• 将分割图作为辅助输入，以提升深度预测性能，尤其在结构化和物体级上下文场景中。
• 通过测量优化后的推理时间与模型复杂度，分析计算效率。

实验结果

研究问题

• RQ1 半并行深度神经网络架构是否能在减少冗余的同时，提升单目深度估计的特征融合效果？
• RQ2 对网络目标进行后处理如何影响单张图像深度预测的精度？
• RQ3 在与RGB输入结合使用时，分割数据在多大程度上能提升深度估计性能？
• RQ4 SPDNN架构是否能达到与基于立体匹配的深度估计方法相当的性能？
• RQ5 与独立网络相比，优化后的SPDNN模型在计算效率方面表现如何？

主要发现

• 由于优化后的特征融合和冗余减少，SPDNN模型在深度估计精度上优于独立网络拓扑结构。
• 使用立体匹配方法生成的深度图对网络目标进行后处理，能显著提升单目图像的预测精度。
• 将分割数据作为输入可使性能在KITTI数据集上接近基于立体匹配的深度估计方法。
• 通过图优化的SPDNN拓扑结构通过消除重复层，降低了计算开销，提升了推理效率。
• 最终训练的SPDNN模型在无立体数据条件下，展现出单目深度估计的最先进性能。
• 本研究证实，通过共享特征学习和混合拓扑设计进行架构优化，对深度估计任务具有显著有效性。