[论文解读] Exploiting temporal consistency for real-time video depth estimation

Haokui Zhang, Chunhua Shen+4 more|arXiv (Cornell University)|Aug 10, 2019

Advanced Vision and Imaging参考文献 45被引用 13

一句话总结

本文提出了一种利用新颖的时空卷积LSTM（ST-CLSTM）架构结合2D卷积神经网络与卷积LSTM的实时视频深度估计框架，通过时间一致性建模来捕捉空间特征与帧间时间相关性。该方法引入基于生成对抗学习的时间一致性损失，实现了最先进的性能表现，计算开销极低，并通过并行数据加载实现了174.83 fps的实时推理速度。

ABSTRACT

Accuracy of depth estimation from static images has been significantly improved recently, by exploiting hierarchical features from deep convolutional neural networks (CNNs). Compared with static images, vast information exists among video frames and can be exploited to improve the depth estimation performance. In this work, we focus on exploring temporal information from monocular videos for depth estimation. Specifically, we take the advantage of convolutional long short-term memory (CLSTM) and propose a novel spatial-temporal CSLTM (ST-CLSTM) structure. Our ST-CLSTM structure can capture not only the spatial features but also the temporal correlations/consistency among consecutive video frames with negligible increase in computational cost. Additionally, in order to maintain the temporal consistency among the estimated depth frames, we apply the generative adversarial learning scheme and design a temporal consistency loss. The temporal consistency loss is combined with the spatial loss to update the model in an end-to-end fashion. By taking advantage of the temporal information, we build a video depth estimation framework that runs in real-time and generates visually pleasant results. Moreover, our approach is flexible and can be generalized to most existing depth estimation frameworks. Code is available at: https://tinyurl.com/STCLSTM

研究动机与目标

• 解决单目视频序列中实时深度估计的挑战，尤其适用于自动驾驶和机器人等应用。
• 利用连续视频帧之间的时序信息，提升深度估计精度，超越静态图像方法的性能。
• 开发一种轻量化、高效的框架，在不显著增加计算成本的前提下保持高性能。
• 确保预测深度图在视频帧之间具有时间一致性，生成视觉连贯的结果。
• 设计一种可泛化的框架，与大多数现有深度估计架构兼容。

提出的方法

• 提出一种新颖的ST-CLSTM结构，将2D卷积神经网络用于空间特征提取，同时利用卷积LSTM建模视频帧间的时间依赖性。
• 在GAN框架中使用3D卷积神经网络作为判别器，学习一种时间一致性损失，以惩罚帧间不一致的深度预测。
• 将空间损失（预测值与真实深度之间的L1或L2损失）与对抗性时间损失相结合，实现端到端训练。
• 采用并行数据加载（PS-mode）加速推理，在标准硬件上实现实时性能。
• 通过空间损失与时间损失的联合训练，实现深度精度与时间平滑度的联合优化。
• 采用浅层ResNet-18主干网络，在保持低推理成本的同时实现具有竞争力的性能。

实验结果

研究问题

• RQ1 单目视频序列中的时间相关性是否能被有效利用，以超越静态图像方法提升深度估计性能？
• RQ2 深度学习模型如何在连续视频帧之间保持预测深度图的时间一致性？
• RQ3 基于GAN的对抗性损失对时间一致性和深度估计的视觉质量有何影响？
• RQ4 轻量级ST-CLSTM架构是否能在不牺牲性能的前提下实现实时推理？
• RQ5 该框架在仅做最小架构修改的情况下，对现有深度估计模型的泛化能力如何？

主要发现

• 所提出的ST-CLSTM框架在NYU Depth V2和KITTI数据集上均达到最先进性能，优于许多更深的模型。
• 在NYU Depth V2数据集上，采用ResNet-18时，该方法实现了相对误差（Rel）0.131、RMS 0.571和δ1 0.833，优于使用更深主干网络的方法。
• 在KITTI数据集上，该方法实现了Rel 0.101、RMS 4.137和δ1 0.890，超越了大多数先前的视频与静态图像方法。
• 在并行+串行加载模式下，模型推理速度达到174.83 fps，超过实时要求（30 fps），展现出强大的实际可行性。
• 消融实验表明，ST-CLSTM与基于GAN的时间损失均显著提升了时间一致性与整体性能。
• 该框架具有高度泛化能力，可仅通过最小修改集成到大多数现有深度估计架构中。