[论文解读] Fast Recurrent Fully Convolutional Networks for Direct Perception in Autonomous Driving

Yiqi Hou, Sascha Hornauer+1 more|arXiv (Cornell University)|Nov 17, 2017

Advanced Neural Network Applications参考文献 13被引用 14

一句话总结

本文提出了一种轻量级端到端深度学习架构——快速循环全卷积网络（F-RFCN），通过深度、狭窄的全卷积网络结合循环单元，仅用极少参数即可直接从视频输入预测转向和加速度指令。F-RFCN 的参数量仅为先前端到端模型的 1/3，收敛速度更快且损失更低，展现出更优的鲁棒性与泛化能力——在真实道路测试场中，实现了 85% 的自主性、70% 更长的故障时间，以及超过 4 倍的故障距离，显著优于 Nvidia DAVE-2 基线模型。

ABSTRACT

Deep convolutional neural networks (CNNs) have been shown to perform extremely well at a variety of tasks including subtasks of autonomous driving such as image segmentation and object classification. However, networks designed for these tasks typically require vast quantities of training data and long training periods to converge. We investigate the design rationale behind end-to-end driving network designs by proposing and comparing three small and computationally inexpensive deep end-to-end neural network models that generate driving control signals directly from input images. In contrast to prior work that segments the autonomous driving task, our models take on a novel approach to the autonomous driving problem by utilizing deep and thin Fully Convolutional Nets (FCNs) with recurrent neural nets and low parameter counts to tackle a complex end-to-end regression task predicting both steering and acceleration commands. In addition, we include layers optimized for classification to allow the networks to implicitly learn image semantics. We show that the resulting networks use 3x fewer parameters than the most recent comparable end-to-end driving network and 500x fewer parameters than the AlexNet variations and converge both faster and to lower losses while maintaining robustness against overfitting.

研究动机与目标

• 设计计算高效、端到端的深度神经网络，用于自动驾驶中的直接感知，以减少参数量和训练时间，同时保持性能。
• 探究极小、深层且纤细的全卷积网络结合循环机制，是否能有效从原始视频输入中学习复杂控制策略。
• 评估架构选择（如 BatchNorm、多任务学习和基于 LSTM 的时序建模）对稀疏数据条件下收敛速度、泛化能力和鲁棒性的影响。
• 在真实驾驶环境中，将 F-RFCN 架构与 SOTA 端到端模型（如 DAVE-2）进行对比，重点关注故障指标及对未见场景（如夜间驾驶）的泛化能力。

提出的方法

• 提出三种快速循环全卷积网络（F-RFCN）的变体，通过端到端回归直接将原始视频帧映射为转向和加速度指令。
• 采用深层且纤细的全卷积层，在减少参数量的同时保持空间特征提取能力。
• 集成循环单元（LSTM）以建模序列帧之间的时序依赖关系，提升时空理解能力。
• 通过引入辅助分类头实现多任务学习，隐式学习图像语义信息，增强特征表示能力。
• 使用 BatchNorm 和残差式跳跃连接以稳定训练过程并改善梯度流动。
• 采用联合损失函数进行网络优化，包含控制指令的回归损失和语义理解的分类损失。

实验结果

研究问题

• RQ1 一个小型、深层且纤细的全卷积网络结合循环机制，是否能以远少于先前模型的参数量，实现鲁棒的端到端驾驶控制？
• RQ2 多任务学习和语义分类头的引入，对端到端驾驶网络的收敛速度和泛化能力有何影响？
• RQ3 与大型模型相比，F-RFCN 在夜间驾驶或数据稀疏等挑战性条件下的泛化能力如何？
• RQ4 在真实驾驶指标（如故障时间、故障距离和自主率）方面，F-RFCN 是否优于 DAVE-2 基线模型？

主要发现

• F-RFCN 模型的参数量仅为次小端到端驾驶网络的 1/3，且比基于 AlexNet 的模型少 500 倍，实现了更快的收敛速度和更低的最终损失。
• 在真实测试场中，F-RFCN 实现了 85% 的自主性，优于 DAVE-2 基线的 82%，平均故障时间延长了 70%（124 秒 vs. 72.75 秒）。
• F-RFCN 平均在故障前行驶 132.9 米，远超 DAVE-2 模型的 33.4 米，提升超过 4 倍。
• 在夜间驾驶条件下，F-RFCN 展现出更好的泛化能力，即使在偏离车道后仍能尝试路径修正，而 DAVE-2 模型则无法恢复。
• F-RFCN 对视觉干扰（如手电筒）表现出更强的鲁棒性，初期虽有响应，但能随后纠正路径；而 DAVE-2 模型则被强光强烈吸引。
• 稀疏数据训练结果表明，F-RFCN 在低数据环境下仍保持性能稳定和收敛性良好，且泛化能力有所提升。