[论文解读] Geometry-Aware Symmetric Domain Adaptation for Monocular Depth Estimation

Shanshan Zhao, Huan Fu+2 more|arXiv (Cornell University)|Apr 3, 2019

Advanced Vision and Imaging参考文献 61被引用 10

一句话总结

本文提出几何感知对称域自适应（GASDA），一种端到端框架，通过联合利用合成深度标签与真实立体几何信息，实现无监督单目深度估计。通过采用双向图像风格迁移并利用对极约束强制保持几何一致性，GASDA在KITTI数据集上达到最先进性能，并在Make3D数据集上展现出强大的泛化能力，且无需微调。

ABSTRACT

Supervised depth estimation has achieved high accuracy due to the advanced deep network architectures. Since the groundtruth depth labels are hard to obtain, recent methods try to learn depth estimation networks in an unsupervised way by exploring unsupervised cues, which are effective but less reliable than true labels. An emerging way to resolve this dilemma is to transfer knowledge from synthetic images with ground truth depth via domain adaptation techniques. However, these approaches overlook specific geometric structure of the natural images in the target domain (i.e., real data), which is important for high-performing depth prediction. Motivated by the observation, we propose a geometry-aware symmetric domain adaptation framework (GASDA) to explore the labels in the synthetic data and epipolar geometry in the real data jointly. Moreover, by training two image style translators and depth estimators symmetrically in an end-to-end network, our model achieves better image style transfer and generates high-quality depth maps. The experimental results demonstrate the effectiveness of our proposed method and comparable performance against the state-of-the-art. Code will be publicly available at: https://github.com/sshan-zhao/GASDA.

研究动机与目标

• 解决单目深度估计中合成图像与真实图像之间的域偏移问题。
• 通过联合利用合成数据中的真实深度与真实立体对中的对极几何信息，提升深度预测性能。
• 通过在风格迁移过程中强制执行几何一致性，减少图像迁移产生的伪影。
• 通过端到端方式对称训练图像转换器与深度估计器，增强域自适应能力。
• 在无需真实世界深度标注的情况下，实现高质量深度图。

提出的方法

• 提出一种对称域自适应框架，包含两个图像风格转换器：从合成图像到真实图像，以及从真实图像到合成图像。
• 基于真实立体图像对中的对极几何，引入几何一致性损失，以保持结构完整性。
• 端到端联合训练深度估计器与风格转换器，通过深度一致性损失实现相互监督。
• 采用对抗训练与循环一致性损失，提升图像迁移质量，同时保留语义与几何内容。
• 在联合优化过程中，利用合成域中的真实深度监督与真实域中的几何约束。
• 采用统一网络架构，通过共享特征学习交替优化风格迁移与深度估计。

实验结果

研究问题

• RQ1 将合成深度监督与真实立体几何相结合，能否提升无监督单目深度估计性能？
• RQ2 在图像迁移过程中强制执行对极几何，对深度预测质量有何影响？
• RQ3 采用双向风格迁移的对称域自适应是否优于单向方法，能带来更好的泛化性能？
• RQ4 风格迁移与深度估计的端到端联合训练在多大程度上提升了模型性能？
• RQ5 该模型能否在无需微调的情况下泛化到未见数据集（如Make3D）？

主要发现

• GASDA在KITTI立体2015基准上达到最先进性能，超越先前的域自适应方法。
• 模型在Make3D上泛化良好，无需在该数据集上微调即可取得具有竞争力的结果。
• 几何一致性损失显著提升性能，SYN2REAL-GC-E2E相比SYN2REAL-E2E性能提升显著。
• 对称训练（GASDA）在KITTI上的绝对误差（abs rel）指标上相比基线模型提升1.5–2.0%。
• 消融研究证实，深度一致性损失同时提升了风格迁移与深度估计的质量。
• 可视化结果表明，与竞争方法相比，GASDA能更好地保留远处车辆、栏杆等细节。