[论文解读] Geometry meets semantics for semi-supervised monocular depth estimation

Pierluigi Zama Ramirez, Matteo Poggi+3 more|arXiv (Cornell University)|Oct 9, 2018

Advanced Vision and Imaging参考文献 38被引用 12

一句话总结

本文提出了一种半监督深度学习框架，通过利用图像扭曲中的几何信息和像素级标注中的语义信息，联合预测单目深度和语义分割。通过在共享编码器与深度与分割的双解码器之间共享特征，该模型在KITTI数据集上提升了深度估计的准确性，其性能优于最先进的无监督方法，且训练过程中仅使用语义标签。

ABSTRACT

Depth estimation from a single image represents a very exciting challenge in computer vision. While other image-based depth sensing techniques leverage on the geometry between different viewpoints (e.g., stereo or structure from motion), the lack of these cues within a single image renders ill-posed the monocular depth estimation task. For inference, state-of-the-art encoder-decoder architectures for monocular depth estimation rely on effective feature representations learned at training time. For unsupervised training of these models, geometry has been effectively exploited by suitable images warping losses computed from views acquired by a stereo rig or a moving camera. In this paper, we make a further step forward showing that learning semantic information from images enables to improve effectively monocular depth estimation as well. In particular, by leveraging on semantically labeled images together with unsupervised signals gained by geometry through an image warping loss, we propose a deep learning approach aimed at joint semantic segmentation and depth estimation. Our overall learning framework is semi-supervised, as we deploy groundtruth data only in the semantic domain. At training time, our network learns a common feature representation for both tasks and a novel cross-task loss function is proposed. The experimental findings show how, jointly tackling depth prediction and semantic segmentation, allows to improve depth estimation accuracy. In particular, on the KITTI dataset our network outperforms state-of-the-art methods for monocular depth estimation.

研究动机与目标

• 通过将语义理解整合到无监督学习框架中，提升单目深度估计性能。
• 通过在训练过程中仅使用语义分割标签，减少对昂贵深度标注的依赖。
• 探索联合训练深度预测与语义分割所带来的协同增益。
• 提出一种半监督学习范式，其中深度通过图像扭曲实现自监督，语义通过真实标签实现监督。
• 证明多任务学习所获得的更丰富特征表示可提升深度估计性能。

提出的方法

• 采用单编码器/双解码器架构，在深度与语义分割头之间共享特征。
• 深度头通过基于立体视觉或运动相机几何的无监督图像扭曲损失进行训练。
• 语义分割头通过像素级真实标签进行训练。
• 提出一种新颖的跨域不连续性损失，用于对齐深度与语义边界，提升边缘一致性。
• 通过联合优化组合损失函数，平衡深度与语义监督。
• 任务间共享特征表示，实现从语义到深度估计的知识迁移。

实验结果

研究问题

• RQ1 联合训练语义分割与单目深度估计是否能提升深度估计的准确性？
• RQ2 在半监督设置中引入语义监督是否能超越纯几何自监督，提升深度预测性能？
• RQ3 语义边界的整合如何提升深度图质量，特别是在物体边缘附近？
• RQ4 所提方法在多大程度上优于最先进的无监督单目深度估计模型？
• RQ5 单一模型能否在不损害任一任务的前提下，同时在深度估计与语义分割上实现有竞争力的性能？

主要发现

• 所提方法在KITTI数据集上优于最先进的无监督单目深度估计模型[1]。
• 定性结果表明，在车辆等复杂物体以及电线杆等细长结构上，深度估计性能得到改善。
• 由于语义引导，模型在反光或透明表面（如汽车玻璃）附近生成了更精确的深度图。
• 使用VGG和ResNet50编码器时，语义分割的像素级准确率分别达到88.51%和88.19%。
• 尽管深度估计性能有所提升，但语义分割准确率仍低于当前最先进水平，表明模型架构仍有优化空间。
• 跨域不连续性损失有效对齐了深度与语义边界，增强了预测结果的边缘一致性。