[论文解读] Find Your Own Way: Weakly-Supervised Segmentation of Path Proposals for Urban Autonomy

Dan Barnes, Will Maddern+1 more|arXiv (Cornell University)|Oct 5, 2016

Autonomous Vehicle Technology and Safety参考文献 27被引用 9

一句话总结

本文提出一种弱监督方法，仅使用单目摄像头和数据采集车辆的传感器数据，训练深度语义分割网络以实现城市驾驶中的可行驶路径与障碍物检测。通过利用车辆轨迹和障碍物检测数据作为弱监督信号，该方法生成大规模、自动标注的训练数据，无需人工标注，从而在KITTI和牛津RobotCar数据集上实现了在各种条件下鲁棒的路径与障碍物分割性能。

ABSTRACT

We present a weakly-supervised approach to segmenting proposed drivable paths in images with the goal of autonomous driving in complex urban environments. Using recorded routes from a data collection vehicle, our proposed method generates vast quantities of labelled images containing proposed paths and obstacles without requiring manual annotation, which we then use to train a deep semantic segmentation network. With the trained network we can segment proposed paths and obstacles at run-time using a vehicle equipped with only a monocular camera without relying on explicit modelling of road or lane markings. We evaluate our method on the large-scale KITTI and Oxford RobotCar datasets and demonstrate reliable path proposal and obstacle segmentation in a wide variety of environments under a range of lighting, weather and traffic conditions. We illustrate how the method can generalise to multiple path proposals at intersections and outline plans to incorporate the system into a framework for autonomous urban driving.

研究动机与目标

• 解决在缺乏或不一致车道线的复杂城市环境中实现自主路径分割的挑战。
• 克服人工标注数据集在自动驾驶语义分割任务中成本高且难以扩展的局限性。
• 仅使用车辆轨迹和障碍物检测的弱监督信号，无需人工像素级标注，实现端到端训练深度分割网络。
• 在真实世界城市数据集上，证明路径提议分割在不同光照、天气和交通条件下的鲁棒泛化能力。
• 在交叉路口实现多路径预测，支持拓扑导航，并为未来集成到完整自动驾驶系统奠定基础。

提出的方法

• 利用记录的车辆轨迹和障碍物检测数据（例如来自LiDAR或超声波传感器）为单目图像中的可行驶路径和障碍物生成弱监督的像素级标签。
• 通过相机标定和里程计将3D轨迹与障碍物数据投影到2D图像空间，生成伪真实分割掩码。
• 在自动生成的标注数据上训练标准的深度语义分割网络（例如SegNet），以在推理时从单张单目图像中预测路径和障碍物区域。
• 利用数据采集过程中驾驶员行为的一致性，确保路径提议与预期行驶路线对齐，即使在无标记或复杂路网中亦然。
• 通过数据采集过程中捕获的真实世界驾驶条件多样性，隐式应用数据增强和领域自适应技术。
• 将训练好的网络集成到自主导航规划流程中，实现基于多个预测路径提议的交叉路口路径选择。

实验结果

研究问题

• RQ1 能否从车辆轨迹和障碍物检测中提取的弱监督信号实现无需人工像素级标注的可行驶路径与障碍物语义分割？
• RQ2 该弱监督模型在不同真实世界条件（如光照、天气和交通密度变化）下的泛化能力如何？
• RQ3 即使训练数据中仅存在一条路径，模型是否仍能学习预测交叉路口处多个合理的路径提议？
• RQ4 与基于人工标注数据集训练的模型相比，其在障碍物和路径分割准确率方面表现如何？
• RQ5 该方法在城市环境中在多大程度上减少了对显式车道线检测或道路结构建模的依赖？

主要发现

• 该弱监督方法在KITTI Object and Tracking基准上实现了93.53%的像素召回率和99.55%的实例召回率（阈值>50%），优于基于人工标注数据训练的模型。
• 该模型在牛津RobotCar数据集的所有测试条件下均表现出鲁棒性能，包括晴天、多云、雨天、雪天和夜间场景。
• 在交叉路口，网络经常预测出多个合理的路径提议，具备在拓扑路径规划中应用的潜力。
• 失败案例主要源于传感器限制，如过曝或欠曝、视场角过窄，表明改进相机硬件可解决大多数问题。
• 该方法成功对所有物体类别（车辆、行人及各类杂项物体）实现了障碍物分割，表明其在安全关键应用中具备强大的泛化能力。
• 该方法仅依赖单目摄像头即可实现自主路径分割，无需昂贵的LiDAR或显式车道线建模。