[论文解读] Towards Lightweight Lane Detection by Optimizing Spatial Embedding

Seokwoo Jung, Sungha Choi+2 more|arXiv (Cornell University)|Aug 19, 2020

Autonomous Vehicle Technology and Safety参考文献 11被引用 13

一句话总结

该论文提出了一种轻量级、实时的车道检测方法，基于无建议框实例分割，通过直接使用图像坐标优化空间嵌入，以克服卷积神经网络（CNN）的平移不变性限制。通过学习将像素嵌入映射到车道实例中心，并结合轻量级主干网络与快速迭代后处理步骤，该方法在显著降低推理时间的同时实现了最先进（SOTA）的准确率，在速度和效率方面优于先前方法。

ABSTRACT

A number of lane detection methods depend on a proposal-free instance segmentation because of its adaptability to flexible object shape, occlusion, and real-time application. This paper addresses the problem that pixel embedding in proposal-free instance segmentation based lane detection is difficult to optimize. A translation invariance of convolution, which is one of the supposed strengths, causes challenges in optimizing pixel embedding. In this work, we propose a lane detection method based on proposal-free instance segmentation, directly optimizing spatial embedding of pixels using image coordinate. Our proposed method allows the post-processing step for center localization and optimizes clustering in an end-to-end manner. The proposed method enables real-time lane detection through the simplicity of post-processing and the adoption of a lightweight backbone. Our proposed method demonstrates competitive performance on public lane detection datasets.

研究动机与目标

• 为解决在无建议框实例分割中优化像素嵌入的挑战，特别是卷积操作固有的平移不变性问题。
• 通过直接中心预测与快速聚类简化后处理，实现实时车道检测。
• 通过将图像坐标信息引入空间嵌入空间，改进嵌入优化。
• 在轻量级主干网络下实现具有竞争力的性能，适用于嵌入式部署。

提出的方法

• 模型采用FCHarDNet作为轻量级主干网络，以降低计算成本和内存流量。
• 引入两个分支：一个用于预测偏移图（ox, oy）以估计每个车道实例的中心，另一个用于预测聚类置信度（S图）和带宽（σ图）。
• 空间嵌入 e_i 定义为 e_i = [x + o^x; y + o^y]，其中 x 和 y 为像素坐标，实现坐标感知的嵌入，从而缓解平移不变性问题。
• 嵌入损失仅在前景像素上使用Lovasz-hinge损失，避免背景像素的干扰。
• 引入带宽饱和损失，通过惩罚过大的边际增长，防止σ_k的过度估计。
• 使用簇间推力损失和采样损失，在推理过程中提升聚类分离度与中心定位精度。

实验结果

研究问题

• RQ1 基于图像坐标的嵌入是否能改善无建议框实例分割中车道检测的像素嵌入优化？
• RQ2 在车道嵌入学习中，引入坐标信息在多大程度上能缓解卷积平移不变性的负面影响？
• RQ3 轻量级主干网络结合简化后处理是否能在不损失准确率的前提下实现实时性能？
• RQ4 与全图损失相比，仅在前景上使用嵌入损失在收敛性和聚类质量方面改善程度如何？

主要发现

• 所提方法在TuSimple基准测试中达到96.58%的准确率，优于基线模型（96.42%），同时显著减少了误报和漏报。
• 采用轻量级主干网络与快速迭代后处理，该方法在V100 GPU上的推理时间仅为3.20 ms，远快于基线方法使用DBSCAN的6.64 ms。
• 由于采用坐标感知的空间嵌入，该方法在处理长而细的车道结构及遮挡情况时表现出更优性能。
• 消融实验表明，结合空间嵌入、仅前景损失、带宽饱和损失与簇间推力损失，可同时提升准确率与鲁棒性。