[论文解读] Evaluating Uncertainty Quantification in End-to-End Autonomous Driving Control

Rhiannon Michelmore, Marta Kwiatkowska+1 more|arXiv (Cornell University)|Nov 16, 2018

Autonomous Vehicle Technology and Safety参考文献 11被引用 77

一句话总结

简要：本文展示了从端到端自动驾驶模型实时提取不确定性，并显示互信息作为预测崩溃的强有力指标，领先时间可达数秒，在驾驶模拟器中对回归和分类的 PilotNet-like 架构进行了评估。

ABSTRACT

A rise in popularity of Deep Neural Networks (DNNs), attributed to more powerful GPUs and widely available datasets, has seen them being increasingly used within safety-critical domains. One such domain, self-driving, has benefited from significant performance improvements, with millions of miles having been driven with no human intervention. Despite this, crashes and erroneous behaviours still occur, in part due to the complexity of verifying the correctness of DNNs and a lack of safety guarantees. In this paper, we demonstrate how quantitative measures of uncertainty can be extracted in real-time, and their quality evaluated in end-to-end controllers for self-driving cars. To this end we utilise a recent method for gathering approximate uncertainty information from DNNs without changing the network's architecture. We propose evaluation techniques for the uncertainty on two separate architectures which use the uncertainty to predict crashes up to five seconds in advance. We find that mutual information, a measure of uncertainty in classification networks, is a promising indicator of forthcoming crashes.

研究动机与目标

• 激发在端到端 DNN 基于的自动驾驶系统中对安全保证的需求。
• 开发在不改变网络架构的前提下，实时提取和评估不确定性的方法。
• 比较方向控制网络的回归和分类形式。
• 将不确定性度量作为崩溃预测指标并确定警报的实际阈值。

提出的方法

• 使用基于 dropout 的贝叶斯不确定性估计，在不改变架构的前提下从 DNN 获取近似的预测分布。
• 对回归网络，通过多次随机前向传递（T，开启 dropout）计算预测均值和方差。
• 对分类网络，利用多次随机前向传递计算不确定性度量：Variation ratio、预测熵、互信息。
• 在前置摄像头图像上训练两个 PilotNet 风格网络（一个回归一个分类）；在驾驶模拟器中对数据进行标注。
• 通过 ROC 分析评估不确定性度量：(i) 区分视觉上安全/不安全的预测；(ii) 使用 ROC 分析预测崩溃时间提前至5秒。

实验结果

研究问题

• RQ1 来自 dropout-based 贝叶斯方法的实时不确定性度量是否能在端到端控制器中识别不安全的驾驶情形？
• RQ2 哪一种不确定性度量（variation ratio、predictive entropy、mutual information）最能预测错误的转向或即将发生的崩溃？
• RQ3 回归与分类形式在不确定性对安全决策有用性方面的比较？
• RQ4 哪些不确定性阈值对提醒操作者或触发安全干预有效？

主要发现

Crash #	距离首次阈值突破（帧）	距离首次阈值突破（秒）	距离定义峰值（帧）	距离定义峰值（秒）
1	21	3.5	18	3
2	45	7.5	31	5.17
3	42	7	16	2.7
4	39	6.5	7	1.17
5	40	6.7	27	4.5

• 互信息在两种体系结构中始终成为预测错误行为和崩溃的最强预测因子。
• 对于分类，互信息在检测错误角度方面的 AUC 为 0.77，超过其他不确定性度量。
• 互信息在崩溃前的高峰可达大约4.5秒（27帧），为干预提供了实际窗口。
• 回归不确定性（预测方差）对检测不安全角度仅带来边际改进（AUC ~0.64），不如随机猜测。
• 基于分类的网络在多数模式下达到 67% 准确率，但执行仿真器时崩溃更少（每循环 0–1 次）比回归网络少。
• 实时提取，T=128 前向传递（批量大小）维持了仿真器所需的处理速率（约6 FPS 输入）。