[论文解读] A Deeper Insight into the UnDEMoN: Unsupervised Deep Network for Depth and Ego-Motion Estimation

V. Madhu Babu, Anima Majumder+2 more|arXiv (Cornell University)|Aug 27, 2018

Advanced Vision and Imaging参考文献 3被引用 6

一句话总结

该论文提出UnDEMoN，一种无监督深度学习框架，通过结合空间与时间重建损失及Charbonnier惩罚的新型目标函数，从单目视频中联合估计密集深度图与6-DoF自运动。该方法在KITTI数据集上实现了最先进性能，无需粗到细训练策略，通过统一的视差与姿态网络架构实现尺度感知的深度与姿态估计。

ABSTRACT

This paper presents an unsupervised deep learning framework called UnDEMoN for estimating dense depth map and 6-DoF camera pose information directly from monocular images. The proposed network is trained using unlabeled monocular stereo image pairs and is shown to provide superior performance in depth and ego-motion estimation compared to the existing state-of-the-art. These improvements are achieved by introducing a new objective function that aims to minimize spatial as well as temporal reconstruction losses simultaneously. These losses are defined using bi-linear sampling kernel and penalized using the Charbonnier penalty function. The objective function, thus created, provides robustness to image gradient noises thereby improving the overall estimation accuracy without resorting to any coarse to fine strategies which are currently prevalent in the literature. Another novelty lies in the fact that we combine a disparity-based depth estimation network with a pose estimation network to obtain absolute scale-aware 6 DOF Camera pose and superior depth map. The effectiveness of the proposed approach is demonstrated through performance comparison with the existing supervised and unsupervised methods on the KITTI driving dataset.

研究动机与目标

• 开发一种无需依赖标注数据的无监督深度学习框架，用于单目深度与自运动估计。
• 解决现有方法依赖粗到细训练策略所导致的复杂性增加与误差传播问题。
• 通过使用可微双线性采样核，同时最小化空间与时间重建损失，提升估计精度。
• 通过统一架构整合基于视差的深度网络与姿态估计网络，实现尺度感知的6-DoF相机姿态估计。
• 通过损失函数中引入Charbonnier惩罚，提升对图像梯度噪声的鲁棒性。

提出的方法

• 该框架采用共享的编码器-解码器架构，从单目图像对中提取特征。
• 基于预测的深度与姿态，利用双线性采样核计算空间与时间重建损失，以实现图像扭曲。
• 通过Charbonnier惩罚对联合损失函数进行正则化，降低对梯度噪声的敏感性。
• 采用端到端无监督训练方案，联合优化深度预测与6-DoF相机姿态。
• 将基于视差的深度网络与姿态估计网络集成，生成具有绝对尺度感知的深度与姿态输出。
• 通过单阶段、可微的优化过程与鲁棒损失正则化，避免粗到细细化。

实验结果

研究问题

• RQ1 能否通过单阶段无监督深度网络，从单目视频中联合估计密集深度与6-DoF自运动，并实现更优的准确性？
• RQ2 与单独使用损失分量相比，联合使用空间与时间重建损失在多大程度上提升了估计的鲁棒性？
• RQ3 在存在图像梯度噪声的情况下，Charbonnier惩罚在多大程度上提升了模型性能？
• RQ4 是否可以在无需监督监督或粗到细细化的情况下，实现尺度感知的6-DoF姿态估计？
• RQ5 在KITTI等标准基准上，该方法与最先进监督与无监督方法相比表现如何？

主要发现

• 所提出的UnDEMoN框架在KITTI基准上实现了无监督单目深度与自运动估计的最先进性能。
• 该方法通过使用Charbonnier正则化目标函数，同时最小化空间与时间重建损失，优于现有无监督方法。
• 双线性采样核的使用实现了可微图像扭曲，对深度与姿态网络的端到端训练至关重要。
• 该框架在不依赖粗到细训练策略的情况下实现稳健性能，降低了复杂性与误差累积。
• 在无监督设置下，成功实现了具有绝对尺度感知的深度与6-DoF姿态的联合估计。
• KITTI数据集上的定量结果证实，与先前无监督方法相比，该方法在深度估计与姿态估计方面均具有更优的准确性。