[论文解读] M4Depth: A motion-based approach for monocular depth estimation on video sequences.

Michaël Fonder, Damien Ernst+1 more|arXiv (Cornell University)|May 20, 2021

Advanced Vision and Imaging参考文献 30被引用 6

一句话总结

M4Depth 提出了一种针对无人机的运动增强单目深度估计方法，利用 RGB 视频和机载运动数据。该方法采用具有时间递归和几何约束的金字塔卷积神经网络（CNN），生成准确且时空一致的深度图，在 Mid-Air 无人机数据集上优于当前最先进方法，其关键在于利用运动信息显著提升了精度。

ABSTRACT

Getting the distance to objects is crucial for autonomous vehicles. In instances where depth sensors cannot be used, this distance has to be estimated from RGB cameras. As opposed to cars, the task of estimating depth from on-board mounted cameras is made complex on drones because of the lack of constrains on motion during flights. In this paper, we present a method to estimate the distance of objects seen by an on-board mounted camera by using its RGB video stream and drone motion information. Our method is built upon a pyramidal convolutional neural network architecture and uses time recurrence in pair with geometric constraints imposed by motion to produce pixel-wise depth maps. In our architecture, each level of the pyramid is designed to produce its own depth estimate based on past observations and information provided by the previous level in the pyramid. We introduce a spatial reprojection layer to maintain the spatio-temporal consistency of the data between the levels. We analyse the performance of our approach on Mid-Air, a public drone dataset featuring synthetic drone trajectories recorded in a wide variety of unstructured outdoor environments. Our experiments show that our network outperforms state-of-the-art depth estimation methods and that the use of motion information is the main contributing factor for this improvement. The code of our method is publicly available on GitHub; see this https URL

研究动机与目标

• 解决在无深度传感器且运动不受限的无人机中实现精确深度估计的挑战。
• 利用机载 RGB 视频和运动数据，提升在非结构化户外环境中的单目深度估计性能。
• 开发一种在视频帧之间保持时空一致性的深度估计框架。
• 评估运动信息对无人机视频序列中深度估计性能的贡献。
• 为航空机器人中的单目深度估计提供一个公开可用的、最先进的解决方案。

提出的方法

• 该方法使用金字塔卷积神经网络，其中每一层基于先前观测结果和上一层的特征生成深度估计。
• 引入时间递归以利用序列化视频数据，并随时间推移提升深度估计性能。
• 通过无人机运动推导出的几何约束被强制执行，以确保连续帧之间的一致性。
• 引入空间重投影层以在金字塔各层级之间保持时空对齐。
• 网络在 Mid-Air 数据集提供的合成无人机轨迹上进行端到端训练。
• 将运动数据与 RGB 视频融合，以在标准仅视频方法的基础上进一步提升深度图精度。

实验结果

研究问题

• RQ1 在无约束的空中环境中，集成无人机运动数据在多大程度上改善了单目深度估计？
• RQ2 时间递归和几何约束在多大程度上提升了深度图的精度和一致性？
• RQ3 所提出的方法在无人机视频序列上与当前最先进单目深度估计技术相比表现如何？
• RQ4 运动信息与视觉外观在深度估计性能中的贡献分别是什么？
• RQ5 具有跨层级特征优化的金字塔架构是否能生成比标准单尺度网络更精确的深度图？

主要发现

• M4Depth 在 Mid-Air 无人机数据集上优于现有的最先进单目深度估计方法。
• 运动信息的集成显著提升了深度估计精度，表明其在该方法成功中的关键作用。
• 空间重投影层有效保持了金字塔各层级和视频帧之间的时空一致性。
• 该方法在合成 Mid-Air 数据集中的多样化非结构化户外环境中实现了鲁棒的深度估计。
• 通过时间建模和基于无人机运动推导出的几何约束，网络性能得到增强。
• M4Depth 的代码已在 GitHub 上公开，支持可复现性并促进进一步研究。