[论文解读] Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car

Mariusz Bojarski, Philip Yeres+5 more|arXiv (Cornell University)|Apr 25, 2017

Explainable Artificial Intelligence (XAI)参考文献 7被引用 242

一句话总结

本文提出 PilotNet，是一个端到端的用于转向的 CNN，并引入一种显著性可视化方法，以识别对转向决策影响最大的图像区域，显示 PilotNet 学会了有意义的道路线索。

ABSTRACT

As part of a complete software stack for autonomous driving, NVIDIA has created a neural-network-based system, known as PilotNet, which outputs steering angles given images of the road ahead. PilotNet is trained using road images paired with the steering angles generated by a human driving a data-collection car. It derives the necessary domain knowledge by observing human drivers. This eliminates the need for human engineers to anticipate what is important in an image and foresee all the necessary rules for safe driving. Road tests demonstrated that PilotNet can successfully perform lane keeping in a wide variety of driving conditions, regardless of whether lane markings are present or not. The goal of the work described here is to explain what PilotNet learns and how it makes its decisions. To this end we developed a method for determining which elements in the road image most influence PilotNet's steering decision. Results show that PilotNet indeed learns to recognize relevant objects on the road. In addition to learning the obvious features such as lane markings, edges of roads, and other cars, PilotNet learns more subtle features that would be hard to anticipate and program by engineers, for example, bushes lining the edge of the road and atypical vehicle classes.

研究动机与目标

• 展示一个端到端的 CNN，可以从前置摄像头图像输出转向命令，利用人工驱动数据进行训练。
• 开发一个简单、快速的显著性方法，以识别驱动 PilotNet 转向决策的图像区域。
• 证明所学习的特征与人类驾驶线索对齐，并揭示非显而易见但信息丰富的道路要素。

提出的方法

• 描述 PilotNet 架构（9 层：归一化、5 个卷积层、3 个全连接层）和输入预处理（YUV 通道）。
• 使用数据收集车的图像-转向对进行端到端训练，并通过数据增强模拟居中偏移/方向偏移。
• 引入一种显著性可视化算法，将高层特征图的激活向输入图像传播以创建可视化掩模。
• 将可视化掩模叠加到输入图像上，以识别影响转向的显著对象。
• 通过扰动测试验证显著区域：平移显著区与非显著区以观察转向变化。

实验结果

研究问题

• RQ1 哪一些道路图像区域对 PilotNet 的转向输出影响最大？
• RQ2 学习到的显著区域是否对应有意义的驾驶线索（车道、道路边缘、其他车辆）？
• RQ3 显著性可视化是否能揭示 PilotNet 学到但未明确编程的细微特征？
• RQ4 扰动实验是否证实显著区域如显性图示那样控制转向？
• RQ5 端到端学习如何影响网络注意力的聚焦，与手工设计规则相比有何不同？

主要发现

• PilotNet 学会识别相关的道路对象，如车道标记、道路边缘和其他车辆。
• 显著性可视化揭示了额外的特征，如道路边缘的灌木和人类可能不会手动编码的其他车辆类别。
• 仅移动显著区域就会显著改变转向，与移动整张图像相似，而移动非显著区域影响很小。
• PilotNet 的注意模式与人类驾驶线索一致，支持对其决策的信任。
• 该可视化方法提供几乎像素级的洞察，且执行速度快，适用于车内监控。