[论文解读] Mapping road safety features from streetview imagery: A deep learning approach

Arpan Man Sainju, Zhe Jiang|arXiv (Cornell University)|Jul 15, 2019

Automated Road and Building Extraction参考文献 27被引用 5

一句话总结

本文提出了一种结合卷积神经网络（CNNs）与长短期记忆（LSTM）网络的深度学习框架，用于从街景图像中自动分类道路安全特征（如减速带、混凝土护栏和金属防撞护栏）。通过建模道路网络沿线的空间顺序依赖关系，CNN-LSTM方法在基线方法基础上提升了分类准确率，在测试数据集上实现了5%的F-score提升，从而实现了对阿拉巴马州主要高速公路的大规模安全特征制图。

ABSTRACT

Each year, around 6 million car accidents occur in the U.S. on average. Road safety features (e.g., concrete barriers, metal crash barriers, rumble strips) play an important role in preventing or mitigating vehicle crashes. Accurate maps of road safety features is an important component of safety management systems for federal or state transportation agencies, helping traffic engineers identify locations to invest on safety infrastructure. In current practice, mapping road safety features is largely done manually (e.g., observations on the road or visual interpretation of streetview imagery), which is both expensive and time consuming. In this paper, we propose a deep learning approach to automatically map road safety features from streetview imagery. Unlike existing Convolutional Neural Networks (CNNs) that classify each image individually, we propose to further add Recurrent Neural Network (Long Short Term Memory) to capture geographic context of images (spatial autocorrelation effect along linear road network paths). Evaluations on real world streetview imagery show that our proposed model outperforms several baseline methods.

研究动机与目标

• 解决使用街景图像人工制图道路安全特征所面临的高成本与低效率问题。
• 对线性道路网络沿线连续街景图像中的空间自相关性进行建模。
• 通过利用图像序列中的顺序上下文信息，提升对安全特征（如减速带、护栏）的分类准确率。
• 通过深度学习实现可扩展的、自动化的安全特征制图，供交通管理部门使用。
• 评估共享LSTM与独立LSTM分支在多类道路安全特征分类中的有效性。

提出的方法

• 一种混合深度学习模型，结合CNN从单个街景图像中提取特征，以及LSTM对沿道路路径连续图像之间的顺序依赖关系进行建模。
• 评估了两种变体：共享-LSTM模型（一个LSTM处理所有类别的特征）和独立-LSTM模型（每个类别对应一个LSTM）。
• 通过沿道路网络段按顺序处理图像，利用空间自相关性，捕捉地理上下文信息。
• 该方法使用来自阿拉巴马州主要高速公路的真实街景图像，训练和验证数据由人工标注了三类安全特征。
• 通过在两个测试集（一个来自阿拉巴马州牛津，另一个来自塔斯卡卢萨）上使用F-score、精确率和召回率评估性能。
• 一项案例研究将表现最佳的模型（CNN- separateLSTM）应用于阿拉巴马州所有主要高速公路的69,500张街景图像，生成大规模安全特征地图。

实验结果

研究问题

• RQ1 结合CNN与LSTM的深度学习模型是否能相比标准CNN，在街景图像中对道路安全特征的分类准确率有所提升？
• RQ2 在道路网络沿线建模顺序空间依赖关系，对具有不同空间尺度的安全特征分类性能有何影响？
• RQ3 为每个类别使用独立LSTM是否优于共享LSTM架构，以实现对多种类型道路安全特征的分类？
• RQ4 该模型在训练和验证数据范围之外的区域（如阿拉巴马州塔斯卡卢萨）的泛化能力如何？
• RQ5 该模型能否生成可靠的大规模安全特征地图，适用于交通基础设施规划？

主要发现

• CNN- separateLSTM模型在塔斯卡卢萨测试集上的F-score比最佳基线方法高出5%，表明通过类别特定的顺序建模可提升性能。
• CNN- only模型产生了孤立的误分类，而LSTM组件有效纠正了这些错误，尤其在CNN- sharedLSTM和CNN- separateLSTM模型中表现显著。
• CNN- separateLSTM模型优于CNN- sharedLSTM模型，表明对类别特定序列的独立建模可提升分类准确率。
• 该模型成功制图了54,890张图像（约1,200公里）的减速带、12,841张图像（约257公里）的金属防撞护栏，以及26,997张图像（约540公里）的混凝土护栏，覆盖阿拉巴马州主要高速公路。
• 预测地图显示出与真实情况一致的空间模式：长而连续的减速带、短而离散的金属护栏，以及长度可变的混凝土护栏，通常位于城市区域或桥梁附近。
• 通过随机抽样验证了模型预测的准确性，确认其在真实部署中具有高可靠性。