[論文レビュー] Evaluating Uncertainty Quantification in End-to-End Autonomous Driving Control

Rhiannon Michelmore, Marta Kwiatkowska+1 more|arXiv (Cornell University)|Nov 16, 2018

Autonomous Vehicle Technology and Safety参考文献 11被引用数 77

ひとこと要約

本論文は、エンドツーエンドの自動運転モデルからの不確実性をリアルタイムで抽出する方法を実証し、相互情報量が数秒先のクラッシュの有力な予測指標となることを示しています。回帰および分類のPilotNet風アーキテクチャをドライビングシミュレータ上で評価しています。

ABSTRACT

A rise in popularity of Deep Neural Networks (DNNs), attributed to more powerful GPUs and widely available datasets, has seen them being increasingly used within safety-critical domains. One such domain, self-driving, has benefited from significant performance improvements, with millions of miles having been driven with no human intervention. Despite this, crashes and erroneous behaviours still occur, in part due to the complexity of verifying the correctness of DNNs and a lack of safety guarantees. In this paper, we demonstrate how quantitative measures of uncertainty can be extracted in real-time, and their quality evaluated in end-to-end controllers for self-driving cars. To this end we utilise a recent method for gathering approximate uncertainty information from DNNs without changing the network's architecture. We propose evaluation techniques for the uncertainty on two separate architectures which use the uncertainty to predict crashes up to five seconds in advance. We find that mutual information, a measure of uncertainty in classification networks, is a promising indicator of forthcoming crashes.

研究の動機と目的

• エンドツーエンドのDNNベース自動運転システムにおける安全性保証の必要性を動機づける。
• ネットワークアーキテクチャを変更せずに、不確実性を抽出・評価するリアルタイム手法を開発する。
• 操舵制御ネットワークの回帰形式と分類形式を比較する。
• 不確実性指標をクラッシュ予測指標として評価し、アラートの実用的な閾値を決定する。

提案手法

• アーキテクチャを変更せずに、ドロップアウトベースのベイズ的不確実性推定を用いてDNNから近似予測分布を取得する。
• ドロップアウトを有効にした状態で複数の確率的フォワードパス(T)を行い、回帰ネットワークの予測平均と分散を計算する。
• 分類ネットワークについては、複数の確率的フォワードパスから不確実性指標を算出する：変動割合、予測エントロピー、相互情報量。
• 前方カメラ画像を用いてPilotNet風のネットワークを2つ訓練する（1つは回帰、1つは分類）；ドライビングシミュレータでデータにアノテーションを行う。
• 不確実性指標を評価する方法として、(i) 視覚的に安全/unsafe予測をROC分析で区別、(ii) ROC分析を用いて最大5秒前のクラッシュ予測を行う。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトベースのベイズ法によるリアルタイムの不確実性指標は、エンドツーエンド制御器における安全でない運転状況を識別できるか。
• RQ2 どの不確実性指標（変動比、予測エントロピー、相互情報量）が、誤った操舵や差し迫ったクラッシュを最もよく予測するか。
• RQ3 回帰形式と分類形式の不確実性の有用性は、安全な意思決定の観点でどのように比較されるか。
• RQ4 不確実性の閾値は、オペレーターへの警告や安全介入を効果的に引き起こす閾値はどれか。

主な発見

Crash #	最初の閾値突破までの距離（フレーム）	最初の閾値突破までの距離（秒）	定義されたピークまでの距離（フレーム）	定義されたピークまでの距離（秒）
1	21	3.5	18	3
2	45	7.5	31	5.17
3	42	7	16	2.7
4	39	6.5	7	1.17
5	40	6.7	27	4.5

• 相互情報量は、両方のアーキテクチャで誤った挙動とクラッシュの最も強い予測因子として一貫して現れた。
• 分類では、相互情報量が誤った角度を検出するAUC 0.77を達成し、他の不確実性指標を上回った。
• 相互情報量はクラッシュの約4.5秒前（27フレーム）までピークに達し、介入の実用的なウィンドウを示唆している。
• 回帰不確実性（予測分散）は、安全でない角度の検出においてランダム推測と比較してわずかな改善（AUC ~0.64）にとどまった。
• 分類ベースのネットワークはモード時に67%の精度を達成したが、回帰ネットワークよりクラッシュ発生数が少ない（ループあたり0–1）シミュレータ走行だった。
• T = 128のフォワードパス（バッチサイズ）でのリアルタイム抽出は、シミュレータの処理速度（入力約6 FPS）を維持した。