[论文解读] DiPE: Deeper into Photometric Errors for Unsupervised Learning of Depth and Ego-motion from Monocular Videos

Hualie Jiang, Laiyan Ding+2 more|arXiv (Cornell University)|Mar 3, 2020

Advanced Vision and Imaging参考文献 36被引用 6

一句话总结

该论文提出DiPE，一种新颖的无监督单目深度与自运动估计框架，通过引入异常值掩码技术，抑制不可见或非静止像素（尤其是反向运动物体）引起的光度误差，从而提升对遮挡和场景动态的鲁棒性，同时采用高效的加权多尺度方案减少深度图伪影。该方法在KITTI基准上实现了深度与自运动估计的最先进性能。

ABSTRACT

Unsupervised learning of depth and ego-motion from unlabelled monocular videos has recently drawn great attention, which avoids the use of expensive ground truth in the supervised one. It achieves this by using the photometric errors between the target view and the synthesized views from its adjacent source views as the loss. Despite significant progress, the learning still suffers from occlusion and scene dynamics. This paper shows that carefully manipulating photometric errors can tackle these difficulties better. The primary improvement is achieved by a statistical technique that can mask out the invisible or nonstationary pixels in the photometric error map and thus prevents misleading the networks. With this outlier masking approach, the depth of objects moving in the opposite direction to the camera can be estimated more accurately. To the best of our knowledge, such scenarios have not been seriously considered in the previous works, even though they pose a higher risk in applications like autonomous driving. We also propose an efficient weighted multi-scale scheme to reduce the artifacts in the predicted depth maps. Extensive experiments on the KITTI dataset show the effectiveness of the proposed approaches. The overall system achieves state-of-theart performance on both depth and ego-motion estimation.

研究动机与目标

• 解决无监督单目深度学习中对反向运动物体深度估计不准确的长期挑战。
• 减少无监督深度估计中多尺度训练导致的预测深度图伪影。
• 通过优化光度误差监督，提升对遮挡和场景动态的鲁棒性。
• 开发一种简单而有效的框架，在不增加复杂模块的前提下提升性能。
• 在KITTI数据集上，实现深度与自运动估计的最先进性能。

提出的方法

• 提出一种异常值掩码技术，通过误差幅度的统计分析，识别并抑制来自被遮挡或非静止像素的光度误差。
• 在反向传播前将异常值掩码应用于光度误差图，防止动态或不可见区域的误导梯度。
• 提出一种加权多尺度方案，为多尺度监督信号分配自适应权重，以减少深度预测中的伪影。
• 使用标准U-Net进行深度预测，使用CNN进行自运动估计，并通过可微分图像扭曲从源视图合成目标视图。
• 在标准无监督学习框架中整合异常值掩码与加权多尺度方案，以光度一致性损失作为监督信号。
• 采用现有掩码技术（合理掩码、自动掩码、最小重投影）的简单基线模型，并通过引入两项新组件进行增强。

实验结果

研究问题

• RQ1 如何有效过滤被遮挡和非静止像素的光度误差，以提升无监督单目学习中的深度估计性能？
• RQ2 反向运动物体对深度估计有何影响？在无监督框架中如何更好地处理此类物体？
• RQ3 轻量级、模块化的方法能否在不引入复杂辅助模块的前提下提升深度图质量？
• RQ4 异常值掩码与加权多尺度训练的整合如何影响伪影减少与整体性能？
• RQ5 这些技术在标准基准（如KITTI）上能将最先进性能提升到何种程度？

主要发现

• 所提出的异常值掩码技术显著减少了对反向运动物体（如迎面驶来的车辆）的深度低估问题，此类物体在以往方法中常被错误估计。
• 加权多尺度方案有效减少了深度图中的伪影，在处理原始论文中报告的失败案例方面优于Monodepth2。
• 异常值掩码与加权多尺度方案的结合带来了超越各自贡献之和的性能增益，表明两者具有显著协同效应。
• DiPE在KITTI深度估计基准上达到最先进性能，在深度与自运动估计方面均优于以往无监督方法。
• 在KITTI里程计分割中，DiPE在5帧输入下，序列09的平均绝对轨迹误差（ATE）为0.012 ± 0.006 m，序列10为0.012 ± 0.008 m，达到最低水平，与或超越最先进模型。
• DiPE在不同输入设置（2帧、3帧、5帧运动网络）下表现出鲁棒性，性能稳定且无显著精度下降。