[论文解读] ABLaneNet

Zhengyang Feng|arXiv (Cornell University)|Mar 4, 2022

Autonomous Vehicle Technology and Safety被引用 13

一句话总结

该论文提出BézierLaneNet，一种新颖的端到端车道线检测方法，通过将车道建模为参数化的Bézier曲线，实现更优的几何表示与更稳定的优化。通过利用基于可变形卷积的特征翻转融合来挖掘场景对称性，该方法在LLAMAS基准上实现了最先进性能，推理速度超过150 FPS，参数量低于10M，优于以往基于曲线和基于分割的方法。

ABSTRACT

This paper presents a novel parametric curve-based method for lane detection in RGB images. Unlike state-of-the-art segmentation-based and point detection-based methods that typically require heuristics to either decode predictions or formulate a large sum of anchors, the curve-based methods can learn holistic lane representations naturally. To handle the optimization difficulties of existing polynomial curve methods, we propose to exploit the parametric Bézier curve due to its ease of computation, stability, and high freedom degrees of transformations. In addition, we propose the deformable convolution-based feature flip fusion, for exploiting the symmetry properties of lanes in driving scenes. The proposed method achieves a new state-of-the-art performance on the popular LLAMAS benchmark. It also achieves favorable accuracy on the TuSimple and CULane datasets, while retaining both low latency (> 150 FPS) and small model size (< 10M). Our method can serve as a new baseline, to shed the light on the parametric curves modeling for lane detection. Codes of our model and PytorchAutoDrive: a unified framework for self-driving perception, are available at: https://github.com/voldemortX/pytorch-auto-drive .

研究动机与目标

• 为解决基于分割和基于点检测的车道线检测方法的局限性，这些方法依赖启发式规则、锚点或循环模块，导致延迟增加和模型尺寸变大。
• 探究基于参数化Bézier曲线的曲线方法是否能在保持高速度和小模型尺寸的同时实现最先进性能。
• 利用前视驾驶场景中车道结构的对称性，提升特征表示，同时不引入强归纳偏置。
• 开发一种端到端可训练的车道线检测器，避免NMS或基于锚点的解码等后处理步骤。
• 证明Bézier曲线相较于多项式曲线能提供更稳定、更自然的几何表示，后者在优化过程中较难处理。

提出的方法

• 使用由四个控制点参数化的三次Bézier曲线建模车道线，通过在稀疏提议（如每张图像50个）上应用二分匹配损失实现端到端优化。
• 采用轻量级ResNet-34骨干网络，避免使用如循环特征聚合或锚点生成等重型组件，从而实现高推理速度（>150 FPS）。
• 提出一种基于可变形卷积的特征翻转融合模块，将特征图及其水平翻转版本的特征对齐，以利用车道布局中的对称性。
• 应用强数据增强（仿射变换、颜色抖动、随机翻转）以提升泛化能力，尤其在曲线学习中数据偏差是挑战的场景下。
• 引入辅助分割损失以改善特征学习，但仅在与特征融合结合时才有效。
• 在Bézier曲线控制点上使用采样损失而非直接对系数施加损失，避免数值不稳定性并提升优化效果。

实验结果

研究问题

• RQ1 参数化Bézier曲线表示是否能通过实现更稳定、更易解释的优化，在车道线检测中优于多项式曲线？
• RQ2 通过特征翻转融合利用场景对称性，是否能在不引入强归纳偏置的前提下提升车道线检测性能？
• RQ3 基于曲线的方法是否能在保持低延迟和小模型尺寸的同时实现最先进精度，超越基于分割和基于点的基线方法？
• RQ4 强数据增强在缓解曲线基方法中的过拟合问题方面有多有效，尤其是在数据分布存在偏差（如主要为直线车道）的情况下？
• RQ5 在特征融合中使用可变形卷积是否能增强对相机旋转或车道错位导致的非完美对称性的鲁棒性？

主要发现

• BézierLaneNet在LLAMAS基准上使用ResNet-34骨干网络实现了75.41的新SOTA F1分数，优于所有先前方法。
• 该模型推理速度超过150 FPS，参数量少于1000万，展现出适合实时部署的高效率。
• 强数据增强对曲线基方法至关重要，禁用后性能显著下降（例如，在LLAMAS上F1分数下降20.30%）。
• 当与辅助分割损失结合时，特征翻转融合模块使性能提升2.45%；使用可变形卷积相比标准卷积在相同设置下提升1.44%。
• 将采样损失替换为直接控制点损失会导致性能下降5.15%，证实了所提出训练策略的有效性。
• 该方法在TuSimple（68.72 F1）和CULane（Curve子集上62.45 F1）上也取得了良好精度，表明其在具有偏差曲率分布的数据集上仍具鲁棒性。