[论文解读] Learning monocular depth estimation with unsupervised trinocular assumptions

Matteo Poggi, Fabio Tosi+1 more|arXiv (Cornell University)|Aug 5, 2018

Advanced Vision and Imaging参考文献 8被引用 7

一句话总结

本文提出3Net，一种新颖的无监督单目深度估计网络，通过在双目立体图像对上采用交错训练策略，利用三目监督来缓解立体伪影。通过以中央参考图像为中心，结合左右上下文建模深度，3Net在KITTI数据集上实现了最先进性能，即使未使用真实三目数据，也优于以往的无监督方法。

ABSTRACT

Obtaining accurate depth measurements out of a single image represents a fascinating solution to 3D sensing. CNNs led to considerable improvements in this field, and recent trends replaced the need for ground-truth labels with geometry-guided image reconstruction signals enabling unsupervised training. Currently, for this purpose, state-of-the-art techniques rely on images acquired with a binocular stereo rig to predict inverse depth (i.e., disparity) according to the aforementioned supervision principle. However, these methods suffer from well-known problems near occlusions, left image border, etc inherited from the stereo setup. Therefore, in this paper, we tackle these issues by moving to a trinocular domain for training. Assuming the central image as the reference, we train a CNN to infer disparity representations pairing such image with frames on its left and right side. This strategy allows obtaining depth maps not affected by typical stereo artifacts. Moreover, being trinocular datasets seldom available, we introduce a novel interleaved training procedure enabling to enforce the trinocular assumption outlined from current binocular datasets. Exhaustive experimental results on the KITTI dataset confirm that our proposal outperforms state-of-the-art methods for unsupervised monocular depth estimation trained on binocular stereo pairs as well as any known methods relying on other cues.

研究动机与目标

• 解决无监督单目深度估计中双目立体监督的局限性，特别是遮挡区域和图像边界附近的伪影问题。
• 通过在标准双目立体数据集（如KITTI和CityScapes）上实现高效训练，克服真实三目数据集稀缺的问题。
• 通过以中央参考图像配合同左右上下文的三视图几何建模，提升深度估计精度。
• 支持新型应用，如为下游任务生成合成多基线立体图像对。
• 通过在双目数据上训练并强制施加三目归纳偏置，建立公平比较基线，证明该方法在性能上优于最先进无监督方法。

提出的方法

• 训练一个卷积神经网络，从中央参考图像预测视差图，利用左右图像作为辅助视图，并强制满足三目一致性。
• 设计一种交错训练流程，通过在反向传播过程中交替使用左、右图像的图像扭曲目标，模拟三目监督。
• 利用参考图像与扭曲后的左右视图之间的图像重建损失（扭曲误差）来监督视差预测，无需真实深度监督。
• 利用网络预测左右视差（$d^{lc}$, $d^{rc}$）的能力，从单张输入图像合成新的虚拟视点。
• 对合成的立体图像对应用半全局匹配（SGM），以验证生成三目视图的质量及其在立体算法中的实用性。
• 采用多尺度架构，共享编码器（VGG或ResNet50），并为左右视差预测分别设置独立解码头，支持端到端训练。

实验结果

研究问题

• RQ1 在无监督设置下，三目监督是否能超越双目立体监督，提升单目深度估计性能？
• RQ2 通过新颖的训练策略，能在多大程度上从双目立体数据集中学习到三目归纳偏置？
• RQ3 与基于双目的无监督方法相比，所提出方法是否能有效减少遮挡区域和图像边界处的常见立体伪影？
• RQ4 网络能否从单张图像生成合理的合成立体图像对，以支持多基线立体处理？
• RQ5 在标准基准测试上，3Net的性能与最先进无监督单目深度估计方法相比，定量表现如何？

主要发现

• 3Net在KITTI 2015测试集上达到最先进性能，即使未使用后处理，也优于Godard等人[12]的先前最先进方法。
• 采用ResNet50并结合后处理的3Net，超越了Godard等人[12]的最佳配置（ResNet50 + 后处理），展现出更高的精度。
• 该方法优于所有已知的无监督深度估计框架，包括依赖其他线索（如光流或运动视差）的方法。
• 交错训练协议在双目数据集上实现了有效的三目监督，证明性能提升源于三目归纳偏置，而非数据量。
• 从单张图像合成的虚拟立体图像对支持多基线立体匹配，SGM在窄基线和宽基线设置下均表现出一致的视差范围。
• 网络能从单张输入图像生成合理的新的视点（左、右视图），为立体网络的数据增强或单目立体处理等新型应用提供支持。