[论文解读] Self-Supervised Relative Depth Learning for Urban Scene Understanding

Huaizu Jiang, Erik Learned-Miller+3 more|arXiv (Cornell University)|Dec 13, 2017

Advanced Vision and Imaging参考文献 47被引用 8

一句话总结

本文提出一种自监督代理任务，通过利用移动车辆拍摄的未标注视频，训练深度网络从单幅图像预测相对深度，从而学习视觉表征。通过利用运动视差和通过运动分割获得的几何约束，该方法在语义分割和单目深度估计任务上达到最先进性能——在某些情况下超越ImageNet监督预训练，且无需任何人工标注的标签。

ABSTRACT

As an agent moves through the world, the apparent motion of scene elements is (usually) inversely proportional to their depth. It is natural for a learning agent to associate image patterns with the magnitude of their displacement over time: as the agent moves, faraway mountains don't move much; nearby trees move a lot. This natural relationship between the appearance of objects and their motion is a rich source of information about the world. In this work, we start by training a deep network, using fully automatic supervision, to predict relative scene depth from single images. The relative depth training images are automatically derived from simple videos of cars moving through a scene, using recent motion segmentation techniques, and no human-provided labels. This proxy task of predicting relative depth from a single image induces features in the network that result in large improvements in a set of downstream tasks including semantic segmentation, joint road segmentation and car detection, and monocular (absolute) depth estimation, over a network trained from scratch. The improvement on the semantic segmentation task is greater than those produced by any other automatically supervised methods. Moreover, for monocular depth estimation, our unsupervised pre-training method even outperforms supervised pre-training with ImageNet. In addition, we demonstrate benefits from learning to predict (unsupervised) relative depth in the specific videos associated with various downstream tasks. We adapt to the specific scenes in those tasks in an unsupervised manner to improve performance. In summary, for semantic segmentation, we present state-of-the-art results among methods that do not use supervised pre-training, and we even exceed the performance of supervised ImageNet pre-trained models for monocular depth estimation, achieving results that are comparable with state-of-the-art methods.

研究动机与目标

• 开发一种自监督代理任务，使深度网络能够在无需人工标注标签的情况下学习有意义的视觉表征。
• 解决仅使用移动摄像头拍摄的未标注视频数据进行城市场景理解任务预训练的挑战。
• 通过无监督预训练提升语义分割、联合检测和单目深度估计等下游任务的性能。
• 探究自监督相对深度预测是否可作为ImageNet预训练的有力替代方案，尤其是在低监督场景下。
• 研究利用特定任务视频（如KITTI）进行自监督预训练的域自适应有效性。

提出的方法

• 利用从移动汽车拍摄的未标注YouTube视频作为自监督预训练的输入。
• 应用运动分割技术估计运动场，并通过相机运动与场景流之间的几何约束恢复相对深度。
• 将每幅图像的相对深度归一化至[0,1]作为代理监督信号，表示该像素在场景中的深度百分位数。
• 使用此代理标签，训练全卷积网络（如VGG16或ResNet50）从单幅图像预测相对深度。
• 仅使用少量人工标注数据对预训练网络进行微调，用于下游任务。
• 通过使用特定任务视频的无监督域自适应方法，将预训练模型适配至特定数据集（如KITTI）。

实验结果

研究问题

• RQ1 从单幅图像中进行自监督训练的相对深度预测，能否作为学习视觉表征的有效代理任务？
• RQ2 基于相对深度的自监督预训练是否在下游城市场景理解任务中优于随机初始化或ImageNet预训练？
• RQ3 自监督预训练是否能在单目深度估计和语义分割任务中超越ImageNet监督预训练？
• RQ4 在特定任务的未标注视频（如KITTI）上进行微调，通过无监督域自适应能多大程度提升性能？
• RQ5 当输入视频中缺乏运动物体或精确运动方向时，该方法的鲁棒性如何？

主要发现

• 所提出的自监督相对深度预训练方法在不使用ImageNet预训练的方法中，于语义分割任务上达到最先进性能，当在Cityscapes数据集上使用域自适应进行微调时，平均IoU达到0.983。
• 在单目深度估计任务中，该方法优于ImageNet预训练，于KITTI数据集上测试RMSE为4.903，低于ImageNet预训练模型的5.073 RMSE。
• 当在KITTI视频上使用域自适应（Ours CD+K）进行微调时，ResNet50模型达到RMSE为4.903和mIoU为0.983，与或超过最先进方法。
• 该方法在多个基准测试（包括Cityscapes和KITTI）中，始终优于随机初始化模型和ImageNet预训练模型。
• 相对深度预测任务能诱导出语义上有意义的特征，如网络能通过深度轮廓区分电线杆和标志等物体，即使没有显式监督。
• 由于将相对深度转换为绝对深度具有非线性特性，该任务具有挑战性，如直接缩放相对深度导致11.08的RMSE，凸显了所学表征的价值。