[论文解读] Human Visual Attention Prediction Boosts Learning & Performance of Autonomous Driving Agents

Alexander Makrigiorgos, Ali Shafti+3 more|arXiv (Cornell University)|Sep 11, 2019

Visual Attention and Saliency Detection参考文献 33被引用 10

一句话总结

本文提出通过在VR驾驶模拟器中整合从眼动追踪数据预测人类视觉注意力的深度神经网络，来增强端到端自动驾驶智能体。通过在原始图像和注意力掩码图像上联合训练智能体——特别是采用双分支架构——该方法相比标准模型将控制信号预测误差降低了25.5%，证明了生物启发式注意力机制可提升学习速度与性能。

ABSTRACT

Autonomous driving is a multi-task problem requiring a deep understanding of the visual environment. End-to-end autonomous systems have attracted increasing interest as a method of learning to drive without exhaustively programming behaviours for different driving scenarios. When humans drive, they rely on a finely tuned sensory system which enables them to quickly acquire the information they need while filtering unnecessary details. This ability to identify task-specific high-interest regions within an image could be beneficial to autonomous driving agents and machine learning systems in general. To create a system capable of imitating human gaze patterns and visual attention, we collect eye movement data from human drivers in a virtual reality environment. We use this data to train deep neural networks predicting where humans are most likely to look when driving. We then use the outputs of this trained network to selectively mask driving images using a variety of masking techniques. Finally, autonomous driving agents are trained using these masked images as input. Upon comparison, we found that a dual-branch architecture which processes both raw and attention-masked images substantially outperforms all other models, reducing error in control signal predictions by 25.5\% compared to a standard end-to-end model trained only on raw images.

研究动机与目标

• 通过利用驾驶过程中观察到的人类视觉注意力模式，提升端到端自动驾驶智能体的性能。
• 探究学习到的人类注视预测是否能提升自动驾驶智能体的训练效率与最终性能。
• 评估不同注意力整合策略（原始、软注意力、硬注意力与双分支）在驾驶策略学习中的影响。
• 验证由人类眼动衍生的显著性图是否能捕捉驾驶任务中关键的视觉特征。
• 通过使智能体的关注区域透明且与人类对齐，探索注意力感知智能体在可解释性方面的优势。

提出的方法

• 使用HTC Vive配合SMI眼动追踪系统，在CARLA模拟器的VR版本中，从243,000帧人类驾驶员的驾驶数据中采集了2.7小时的眼动追踪数据。
• 在该数据上训练深度神经网络以预测人类视觉显著性，并通过引入驾驶员意图监督扩展表现最佳的模型，以提升准确性。
• 从训练好的注视网络生成显著性图，并使用三种掩码技术将其应用于驾驶图像：软掩码（混合）、硬掩码（全黑）和原始输入（未修改）。
• 设计并训练了五种自动驾驶智能体：基线模型（原始输入）、软注意力模型（注意力图与原始图像混合）、硬注意力模型（仅使用非掩码区域）、双分支模型（同时处理原始与掩码输入），所有模型共享主干网络架构。
• 使用平均绝对误差（MAE）作为主要指标，评估各训练周期中控制信号预测的性能表现。
• 在未见的测试场景中评估模型，以衡量泛化能力与长期性能提升。

实验结果

研究问题

• RQ1 能否在模拟驾驶环境中，通过深度学习准确预测人类视觉注意力？
• RQ2 将预测的人类注视模式整合到端到端驾驶智能体的输入中，是否能提升其学习速度与最终性能？
• RQ3 不同的注意力整合策略（软混合、硬掩码或双分支处理）如何影响自动驾驶智能体的性能？
• RQ4 当智能体仅在注意力掩码图像上进行训练时，其性能能保持多高，以反映预测显著性的信息量？
• RQ5 注意力感知智能体是否能通过使其关注区域与人类视觉优先级对齐，实现更好的可解释性？

主要发现

• 双分支智能体（同时处理原始图像与注意力掩码图像）在控制信号预测上的平均绝对误差（MAE）相比仅使用原始图像训练的标准端到端模型降低了25.5%。
• 双分支智能体学习速度显著更快，在60,000个训练步内达到的MAE低于其他模型在整个训练周期后达到的水平。
• 软注意力智能体（将注意力图与原始图像混合）在性能上未优于原始智能体，甚至略有下降，表明注意力整合的架构设计至关重要。
• 硬注意力智能体（仅使用注意力图中的非掩码区域）性能几乎与原始智能体持平，验证了注视网络能有效识别任务关键的视觉特征。
• 双分支架构在训练速度与最终性能上均优于其他模型，证明显式注意力路由可显著提升学习效率。
• 结果表明，由人类眼动衍生的注意力图可作为视觉-运动控制的强大、数据驱动的归纳偏置，提升样本效率与可解释性。