[论文解读] End-to-End Deep Learning for Steering Autonomous Vehicles Considering Temporal Dependencies

Hesham M. Eraqi, Mohamed Moustafa+1 more|arXiv (Cornell University)|Oct 10, 2017

Autonomous Vehicle Technology and Safety参考文献 20被引用 70

一句话总结

本文提出一种卷积长短期记忆网络 (C-LSTM) 模型，能够端到端学习视觉和时序驾驶线索，将转向任务表述为正弦分类问题；在 comma.ai 数据集上实现了 35% 的 RMSE 改进和 87% 的稳定性提升。

ABSTRACT

Steering a car through traffic is a complex task that is difficult to cast into algorithms. Therefore, researchers turn to training artificial neural networks from front-facing camera data stream along with the associated steering angles. Nevertheless, most existing solutions consider only the visual camera frames as input, thus ignoring the temporal relationship between frames. In this work, we propose a Convolutional Long Short-Term Memory Recurrent Neural Network (C-LSTM), that is end-to-end trainable, to learn both visual and dynamic temporal dependencies of driving. Additionally, We introduce posing the steering angle regression problem as classification while imposing a spatial relationship between the output layer neurons. Such method is based on learning a sinusoidal function that encodes steering angles. To train and validate our proposed methods, we used the publicly available Comma.ai dataset. Our solution improved steering root mean square error by 35% over recent methods, and led to a more stable steering by 87%.

研究动机与目标

• 将转向任务作为端到端学习任务，从前视摄像头数据出发。
• 通过 C-LSTM 架构在帧之间融入时序依赖。
• 将转向回归问题表述为正弦分类问题，以利用输出拓扑结构。
• 表明将 LSTM 融合到正弦分类中相较于直接回归和以往分类器能提高准确性和稳定性。

提出的方法

• 使用一个在 ImageNet 上预训练的 CNN 提取帧级特征。
• 用一组 LSTM 层处理序列化的 CNN 特征，以建模时序动态。
• 将转向角编码为跨 N 个输出神经元的正弦波，以强加空间相关性。
• 用滑动窗口端到端训练，以学习从帧 X_{t-w}...X_t 到转向角 Y_t 的映射。
• 在部署阶段通过最小二乘法对网络输出拟合正弦波来解码转向角。

实验结果

研究问题

• RQ1 通过 C-LSTM 将时序依赖整合，能否提升单目视频的转向预测？
• RQ2 将转向角编码为具有空间相关输出的正弦分类，是否优于直接回归和标准分类方法？
• RQ3 滑动窗口长度和网络深度对预测准确性与稳定性有何影响？

主要发现

• C-LSTM 将转向 RMSE 提升至 16.01°， whiteness 为 9.7°/time unit；相比之下，基于 CNN 的回归为 17.77° RMSE 和 39.1 whiteness。
• 使用正弦波拟合的正弦分类得到 RMSE 14.93° 和 whiteness 8.2°，优于直接回归和传统分类。
• 与最先进方法相比，所提方法在 comma.ai 数据集上实现了 35% 的转向 RMSE 降低和 87% 的稳定性提升。
• 在所评估的表格中，带有 C-LSTM 的正弦波分类优于基线回归和标准分类方法。
• 该方法表明将回归编码为相关输出的正弦波可以提升端到端驾驶性能。