[论文解读] Brain Inspired Cognitive Model with Attention for Self-Driving Cars

Shitao Chen, Songyi Zhang+3 more|arXiv (Cornell University)|Feb 18, 2017

EEG and Brain-Computer Interfaces参考文献 26被引用 11

一句话总结

本文提出一种受大脑启发的认知注意力模型（CMA），用于自动驾驶汽车，整合了卷积神经网络（CNN）用于视觉感知、认知地图用于场景理解，以及基于LSTM的循环网络以建模时间依赖性和注意力机制。该模型实现了感知、路径规划与控制的端到端学习，在模拟环境中实现了人类水平的驾驶性能，支持实时导航输入与障碍物处理。

ABSTRACT

Perception-driven approach and end-to-end system are two major vision-based frameworks for self-driving cars. However, it is difficult to introduce attention and historical information of autonomous driving process, which are the essential factors for achieving human-like driving into these two methods. In this paper, we propose a novel model for self-driving cars named brain-inspired cognitive model with attention (CMA). This model consists of three parts: a convolutional neural network for simulating human visual cortex, a cognitive map built to describe relationships between objects in complex traffic scene and a recurrent neural network that combines with the real-time updated cognitive map to implement attention mechanism and long-short term memory. The benefit of our model is that can accurately solve three tasks simultaneously:1) detection of the free space and boundaries of the current and adjacent lanes. 2)estimation of obstacle distance and vehicle attitude, and 3) learning of driving behavior and decision making from human driver. More significantly, the proposed model could accept external navigating instructions during an end-to-end driving process. For evaluation, we build a large-scale road-vehicle dataset which contains more than forty thousand labeled road images captured by three cameras on our self-driving car. Moreover, human driving activities and vehicle states are recorded in the meanwhile.

研究动机与目标

• 为解决感知驱动和端到端学习框架在自动驾驶汽车中的局限性，通过引入注意力机制和历史上下文信息。
• 开发一种统一模型，整合视觉感知、场景理解与决策机制，受人类大脑机制启发。
• 实现在端到端驾驶过程中接受外部导航指令并实现实时自适应。
• 构建大规模、多模态数据集（Road-Vehicle Dataset），用于训练和评估认知驾驶模型。
• 在复杂交通场景中实现自由空间检测、障碍物距离估计与驾驶行为学习的同步执行。

提出的方法

• 使用卷积神经网络（CNN）模拟人类视觉皮层，处理来自多个摄像头的路面图像，以提取视觉特征。
• 构建认知地图，用于表示车辆、车道边界、障碍物与导航输入之间的关系，整合感知信息与状态信息。
• 使用多层长短期记忆网络（LSTM）建模时间依赖性，实现对历史状态与场景数据的注意力机制，以支持决策。
• LSTM网络处理大小为[20×C^t]的输入，隐藏状态大小分别为[20×16]、[20×64]和[20×64]，最终输出转向角度。
• 在包含40,000多张带标签的路面图像、同步人类驾驶动作与车辆状态的自定义数据集上进行模型训练与评估。
• 利用仿真环境生成多样化的驾驶场景，包括变道与障碍物避让，以测试规划与控制性能。

实验结果

研究问题

• RQ1 统一的认知注意力模型能否有效整合自动驾驶汽车中的感知、规划与控制？
• RQ2 受大脑启发、具备循环记忆的模型在动态驾驶场景中处理时间依赖性的能力如何？
• RQ3 该模型是否能在端到端驾驶过程中接受外部导航指令，实现混合增强智能？
• RQ4 该模型在保持实时性能的前提下，从人类示范中学习驾驶行为的能力有多强？
• RQ5 认知地图在复杂交通环境中如何提升场景理解与决策能力？

主要发现

• CMA模型成功同步执行三项核心任务：自由空间与车道边界检测、障碍物距离与车辆姿态估计、驾驶行为学习。
• 该模型在仿真中实现了平滑、稳定且类人水平的驾驶轨迹，尤其在存在障碍物的变道操作中表现优异。
• 与先前方法（如Chen et al. [14]）相比，CMA模型性能更优，得益于其通过LSTM对时间依赖性的建模。
• 该模型在不同车道宽度（3.5m与4m）和障碍物距离（50m至200m）下均保持一致性能，表现出强鲁棒性。
• 认知地图的使用实现了导航指令、车辆状态与感知结果的有效整合，支持上下文感知的决策。
• 该模型能够在端到端驾驶过程中接收并响应外部导航指令，支持混合增强智能。