[论文解读] Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention

Jinkyu Kim, John Canny|arXiv (Cornell University)|Mar 30, 2017

Explainable Artificial Intelligence (XAI)被引用 48

一句话总结

本文提出了一种因果过滤的视觉注意力机制，用于可解释的端到端自动驾驶控制，其中通过移除对转向输出无因果影响的虚假图像区域来优化注意力图。该方法在保持高控制精度（MAE ≤ 2.52°）的同时，通过因果过滤注意力斑块，将解释复杂度降低了58–62%。

ABSTRACT

Deep neural perception and control networks are likely to be a key component of self-driving vehicles. These models need to be explainable - they should provide easy-to-interpret rationales for their behavior - so that passengers, insurance companies, law enforcement, developers etc., can understand what triggered a particular behavior. Here we explore the use of visual explanations. These explanations take the form of real-time highlighted regions of an image that causally influence the network's output (steering control). Our approach is two-stage. In the first stage, we use a visual attention model to train a convolution network end-to-end from images to steering angle. The attention model highlights image regions that potentially influence the network's output. Some of these are true influences, but some are spurious. We then apply a causal filtering step to determine which input regions actually influence the output. This produces more succinct visual explanations and more accurately exposes the network's behavior. We demonstrate the effectiveness of our model on three datasets totaling 16 hours of driving. We first show that training with attention does not degrade the performance of the end-to-end network. Then we show that the network causally cues on a variety of features that are used by humans while driving.

研究动机与目标

• 开发一种用于自动驾驶汽车的可解释深度学习模型，为控制决策提供实时、人类可理解的视觉解释。
• 通过可视化因果注意力，解决神经网络在自动驾驶中不透明的问题，减少注意力图中对虚假相关性的依赖。
• 在简化注意力解释的同时保持高控制性能，通过过滤非影响性图像区域实现因果过滤。
• 在总计约16小时视频的三个大规模真实世界驾驶数据集上验证该方法。

提出的方法

• 采用两阶段模型，先使用CNN编码器提取图像特征，再通过粗粒度解码器生成视觉注意力热力图。
• 将注意力图聚类为“斑块”以识别可能影响网络输出的显著区域。
• 通过单独掩码每个斑块并测量其对转向输出的影响，应用因果过滤；仅保留具有因果影响的斑块。
• 使用单指数平滑方法减少转向和速度信号中的噪声，αs = 0.05被选为最优值。
• 应用惩罚系数λ以平衡注意力稀疏性与性能，λ = 20在验证中实现了最佳折中。
• 通过仅组合因果有效的注意力斑块，生成最终的精细化注意力图，从而提升可解释性并减少杂乱。

实验结果

研究问题

• RQ1 视觉注意力图是否能在不降低控制精度的前提下，作为端到端自动驾驶控制器的可解释性解释？
• RQ2 原始注意力图在多大程度上包含虚假或非因果的显著性信号，从而误导解释？
• RQ3 对注意力斑块进行因果过滤是否能显著降低解释复杂度，同时保持或提升模型性能？
• RQ4 引入因果过滤如何影响模型关注人类相关驾驶特征（如车道线和车辆）的能力？

主要发现

• 引入注意力机制不会降低控制精度：该模型在Comma.ai测试集上实现了2.44°的平均绝对误差（MAE），与基线模型相当。
• 因果过滤移除了58–62%的注意力斑块作为非因果成分，显著简化了视觉解释，且未造成性能损失。
• 该模型成功突出显示了人类相关特征，如车道线、路缘和前方车辆，证实其与人类驾驶行为一致。
• 最优平滑因子αs = 0.05在所有数据集中最小化了MAE，提升了对传感器噪声和人为差异的鲁棒性。
• 当λ = 20时，模型在注意力稀疏性与控制精度之间实现了最佳平衡，尤其在HCE和Udacity数据集上表现优异。
• 定性对比显示，经过优化的注意力图比原始注意力图更准确、更少杂乱，已移除虚假注意力源。