[论文解读] Learning monocular depth estimation infusing traditional stereo knowledge

Fabio Tosi, Filippo Aleotti+2 more|arXiv (Cornell University)|Apr 8, 2019

Advanced Vision and Imaging参考文献 60被引用 14

一句话总结

本文提出 monoResMatch，一种新颖的端到端深度学习架构，用于自监督单目深度估计。该方法通过特征变换从单张输入图像合成虚拟右图像，并在真实特征与合成特征之间执行立体匹配。通过利用传统立体匹配算法（如半全局匹配 SGM）生成的代理真实标签，该方法在 KITTI 基准测试中实现了最先进性能，且无需任何真实深度标注。

ABSTRACT

Depth estimation from a single image represents a fascinating, yet challenging problem with countless applications. Recent works proved that this task could be learned without direct supervision from ground truth labels leveraging image synthesis on sequences or stereo pairs. Focusing on this second case, in this paper we leverage stereo matching in order to improve monocular depth estimation. To this aim we propose monoResMatch, a novel deep architecture designed to infer depth from a single input image by synthesizing features from a different point of view, horizontally aligned with the input image, performing stereo matching between the two cues. In contrast to previous works sharing this rationale, our network is the first trained end-to-end from scratch. Moreover, we show how obtaining proxy ground truth annotation through traditional stereo algorithms, such as Semi-Global Matching, enables more accurate monocular depth estimation still countering the need for expensive depth labels by keeping a self-supervised approach. Exhaustive experimental results prove how the synergy between i) the proposed monoResMatch architecture and ii) proxy-supervision attains state-of-the-art for self-supervised monocular depth estimation. The code is publicly available at https://github.com/fabiotosi92/monoResMatch-Tensorflow.

研究动机与目标

• 解决单目深度估计的挑战，其本质是由于单张图像中缺乏深度线索而带来的病态问题。
• 克服依赖图像扭曲的自监督学习方法的局限性，此类方法可能因遮挡和运动而引入误差。
• 通过将传统立体匹配知识（特别是 SGM 生成的代理监督）整合到单目深度网络中，提升深度估计精度。
• 设计一种端到端可训练的架构，通过从虚拟第二视角合成特征来模拟立体匹配过程。
• 证明经典立体算法生成的代理监督优于基于图像扭曲的自监督方法在单目深度估计中的表现。

提出的方法

• 设计一个单一、统一的深度网络（monoResMatch），将单目输入图像映射到特征空间，并利用该特征空间合成一个水平对齐的虚拟右图像表示。
• 应用基于相关性的精炼模块，对真实左图像特征与合成右图像特征执行立体匹配，模拟传统立体匹配过程。
• 在输入图像上应用半全局匹配（SGM）以生成代理真实标签的视差图，用于监督训练过程。
• 从零开始端到端训练整个网络，使用代理 SGM 标签作为监督信号，避免对真实深度标注的依赖。
• 通过可微分扭曲和损失最小化，利用输入图像与合成视图之间的几何一致性，提升深度估计精度。
• 通过引入残差连接和多尺度特征学习，增强特征表示能力与深度预测质量。

实验结果

研究问题

• RQ1 通过合成虚拟立体视图并执行立体匹配，单目深度估计网络能否实现最先进性能？
• RQ2 使用传统立体算法（如 SGM）生成的代理真实标签，是否能带来优于基于图像扭曲的自监督方法的深度估计性能？
• RQ3 一种集成立体匹配原理并端到端训练的网络，能否超越现有自监督单目深度估计模型？
• RQ4 monoResMatch 架构与代理监督的协同作用，与使用合成或真实深度标签训练的模型相比表现如何？
• RQ5 尽管 SGM 生成的代理标签包含异常值，但其是否仍能带来比其他自监督基线方法更准确的深度预测？

主要发现

• 在 KITTI 2015 测试集上，monoResMatch 的 D1-all 错误率为 21.72%，优于所有自监督基线模型，包括 monodepth 和 SVS。
• 与 SVS 相比，该方法将 D1-bg 错误率降低超过 3%，D1-fg 降低近 1%，表明在背景和前景区域均表现出更优性能。
• 仅使用 KITTI 中 500 个 LiDAR 标注样本和 200-acrt 数据，monoResMatch 在所有指标上均达到最佳表现，优于使用超过 30,000 对立体图像训练的模型。
• 使用 SGM 生成的代理标签可带来比基于图像扭曲的自监督方法更准确的深度预测，即使 SGM 标签包含异常值。
• 与先前最先进自监督方法（SVS）相比，monoResMatch 采用代理监督进行端到端训练，使 D1-all 错误率绝对降低 2.72%。
• 该框架对噪声代理标签具有鲁棒性，且保持高精度，证明传统立体匹配知识可在无真实深度监督的情况下有效引导单目深度学习。