[논문 리뷰] Evaluating Uncertainty Quantification in End-to-End Autonomous Driving Control

Rhiannon Michelmore, Marta Kwiatkowska외 1명|arXiv (Cornell University)|2018. 11. 16.

Autonomous Vehicle Technology and Safety참고 문헌 11인용 수 77

한 줄 요약

논문은 엔드투엔드 자율주행 모델로부터 실시간으로 불확실성을 추출하는 것을 보여주고, 상호 정보량(mutual information)이 수 초 앞에서까지 충돌의 강력한 예측자로 작동한다는 것을 실험적으로 제시하며, 드라이빙 시뮬레이터에서 회귀 및 분류 PilotNet 유사 아키텍처를 평가한다.

ABSTRACT

A rise in popularity of Deep Neural Networks (DNNs), attributed to more powerful GPUs and widely available datasets, has seen them being increasingly used within safety-critical domains. One such domain, self-driving, has benefited from significant performance improvements, with millions of miles having been driven with no human intervention. Despite this, crashes and erroneous behaviours still occur, in part due to the complexity of verifying the correctness of DNNs and a lack of safety guarantees. In this paper, we demonstrate how quantitative measures of uncertainty can be extracted in real-time, and their quality evaluated in end-to-end controllers for self-driving cars. To this end we utilise a recent method for gathering approximate uncertainty information from DNNs without changing the network's architecture. We propose evaluation techniques for the uncertainty on two separate architectures which use the uncertainty to predict crashes up to five seconds in advance. We find that mutual information, a measure of uncertainty in classification networks, is a promising indicator of forthcoming crashes.

연구 동기 및 목표

• 엔드투엔드 DNN 기반 자율주행 시스템에서 안전 보장의 필요성을 제시한다.
• 네트워크 아키텍처를 변경하지 않으면서 불확실성을 실시간으로 추출하고 평가하는 방법을 개발한다.
• 스티어링 제어 네트워크의 회귀형과 분류형 구성을 비교한다.
• 불확실성 척도를 충돌 예측기로 평가하고 경보를 위한 실용적 임계값을 결정한다.

제안 방법

• 아키텍처를 바꾸지 않고 드롭아웃 기반 베이지안 불확실성 추정으로 DNN의 근사 예측 분포를 얻는다.
• 드롭아웃을 활성화한 채 다중 확률적 순전파(T)를 통해 회귀 네트워크의 예측 평균 및 분산을 계산한다.
• 분류 네트워크의 경우 다중 확률적 순전파에서 변이 비율, 예측 엔트로피, 상호 정보량을 불확실성 지표로 계산한다.
• 앞 카메라 이미지로 두 개의 PilotNet-유사 네트워크를 학습시키며(하나는 회귀, 하나는 분류), 드라이빙 시뮬레이터에서 데이터를 주석 처리한다.
• (i) 시각적으로 안전한 예측과 안전하지 않은 예측을 ROC 분석으로 구분하고, (ii) ROC 분석을 사용해 최대 5초 앞의 충돌 예측성을 평가한다.

실험 결과

연구 질문

• RQ1 드롭아웃 기반 베이지안 방법의 실시간 불확실성 지표가 엔드투엔드 컨트롤러에서 안전하지 않은 운전 상황을 식별할 수 있는가?
• RQ2 어떤 불확실성 지표(variation ratio, predictive entropy, mutual information)가 잘못된 조향이나 임박한 충돌을 가장 잘 예측하는가?
• RQ3 안전한 의사결정 측면에서 회귀형과 분류형 구성이 불확실성의 유용성 면에서 어떻게 비교되는가?
• RQ4 운영자에게 경고하거나 안전 개입을 촉발하기에 효과적인 불확실성 임계값은 무엇인가?

주요 결과

Crash #	Distance to first threshold breach (frames)	Distance to first threshold breach (seconds)	Distance to defined peak (frames)	Distance to defined peak (seconds)
1	21	3.5	18	3
2	45	7.5	31	5.17
3	42	7	16	2.7
4	39	6.5	7	1.17
5	40	6.7	27	4.5

• 상호 정보량은 두 아키텍처 모두에서 잘못된 행동과 충돌의 가장 강력한 예측자로 일관되게 나타났다.
• 분류의 경우 상호 정보량이 잘못된 각도 탐지에서 AUC 0.77을 기록했으며, 다른 불확실성 지표를 앞섰다.
• 상호 정보량은 충돌 직전 약 4.5초(27 프레임)까지 최고치를 보였으며, 개입의 실용적인 창을 시사한다.
• 회귀 불확실성(예측 분산)은 unsafe-angle 탐지에서 무작위 추측보다 미미한 개선만 제공했다(AUC 약 0.64).
• 분류 기반 네트워크는 모드 기준으로 67%의 정확도를 달성했지만, 회귀 네트워크에 비해 시뮬레이터에서의 충돌이 더 적게 발생했다(루프당 0–1).
• 실시간 추출은 T = 128 순전파(배치 크기)로 시뮬레이터에 적합한 처리 속도(~6 FPS 입력)을 유지했다.