[论文解读] Learning from Maps: Visual Common Sense for Autonomous Driving

Ari Seff, Jianxiong Xiao|arXiv (Cornell University)|Nov 25, 2016

Automated Road and Building Extraction参考文献 10被引用 32

一句话总结

本文提出一种自监督深度学习方法，仅通过单张单目RGB街景图像，即可推断道路布局属性（如路口距离、单行道与双行道、限速等），利用从OpenStreetMap和Google街景获取的自动标注数据。该模型在大多数回归任务中性能与人类基线相当或更优，尤其在路口距离估计方面实现两倍的性能提升。

ABSTRACT

Today's autonomous vehicles rely extensively on high-definition 3D maps to navigate the environment. While this approach works well when these maps are completely up-to-date, safe autonomous vehicles must be able to corroborate the map's information via a real time sensor-based system. Our goal in this work is to develop a model for road layout inference given imagery from on-board cameras, without any reliance on high-definition maps. However, no sufficient dataset for training such a model exists. Here, we leverage the availability of standard navigation maps and corresponding street view images to construct an automatically labeled, large-scale dataset for this complex scene understanding problem. By matching road vectors and metadata from navigation maps with Google Street View images, we can assign ground truth road layout attributes (e.g., distance to an intersection, one-way vs. two-way street) to the images. We then train deep convolutional networks to predict these road layout attributes given a single monocular RGB image. Experimental evaluation demonstrates that our model learns to correctly infer the road attributes using only panoramas captured by car-mounted cameras as input. Additionally, our results indicate that this method may be suitable to the novel application of recommending safety improvements to infrastructure (e.g., suggesting an alternative speed limit for a street).

研究动机与目标

• 开发一种无需地图的系统，仅通过车载摄像头图像实现实时道路布局推断。
• 解决用于道路属性预测模型训练的大规模全标注数据集缺乏的问题。
• 使自动驾驶汽车能够实时验证或补充高精地图，提升安全性和鲁棒性。
• 探索利用学习到的视觉常识推荐基础设施改进（如限速调整）的创新应用。

提出的方法

• 利用Google街景全景图和OpenStreetMap道路矢量数据，构建包含100万张图像的大规模自动标注数据集。
• 通过将图像位置与OSM元数据匹配，提取道路属性（如单行道与双行道、限速、车道数）的真实标签。
• 训练深度卷积神经网络（ConvNets）用于分类和回归任务，从单张RGB图像预测道路布局属性。
• 使用标准ConvNet架构并针对回归任务（如路口距离、航向角）和分类任务（如交通方向性）进行微调。
• 设计模型以在无需重新标注的情况下泛化于随时间变化的基础设施变化，如同一街道在2009年和2014年的图像对比验证。
• 通过在某一区域（如旧金山）训练并在另一区域（如巴黎）测试，实现迁移学习潜力，仅需少量微调。

实验结果

研究问题

• RQ1 深度学习模型能否在不依赖高精地图的前提下，仅从单张街景图像准确预测道路布局属性？
• RQ2 在开源地图和街景数据上训练的自监督模型，能否在现实世界的变化和基础设施变迁中实现良好泛化？
• RQ3 模型的预测是否可用于检测视觉外观与官方地图数据之间的不一致，从而提示基础设施改进？
• RQ4 在估计路口距离或限速等数值型道路属性方面，模型相较于人类基线的性能提升程度如何？
• RQ5 模型是否能在地理区域间实现迁移，仅需极少适应，表明其对区域间视觉与基础设施差异的鲁棒性？

主要发现

• 在路口距离估计方面，模型性能约为人类基线的两倍，平均绝对误差（MAE）显著低于人类表现。
• 在四项回归任务中的三项（路口距离、航向角、限速）中，模型表现与人类基线相当或更优。
• 模型能正确识别随时间变化的道路配置改变（如单行道变为双行道），且无需重新标注。
• 车道数估计任务表现较差（MAE = 0.9），低于人类基线（MAE = 0.6），可能由于OSM数据标注稀疏且存在歧义。
• 模型预测揭示了视觉外观与官方地图数据之间的潜在不一致，提示一种新颖的应用方向：推荐基础设施改进（如调整限速）。
• 模型在时间与地理维度上均表现出强大泛化能力，表明其具备在不同区域间实现迁移学习的潜力，且仅需极少微调。