[논문 리뷰] DeepRoad: GAN-based Metamorphic Autonomous Driving System Testing

Mengshi Zhang, Yuqun Zhang외 3명|arXiv (Cornell University)|2018. 02. 07.

Software Testing and Debugging Techniques참고 문헌 12인용 수 63

한 줄 요약

DeepRoad은 GAN 기반 이미지-투-이미지 변환을 사용해 실제 같은 기상 조건의 주행 장면을 합성하고, 극한 기상(눈/비)에서 DNN 기반 자율주행 시스템의 일관성 부족을 탐지하기 위해 메타모orphic 테스트를 적용한다.

ABSTRACT

While Deep Neural Networks (DNNs) have established the fundamentals of DNN-based autonomous driving systems, they may exhibit erroneous behaviors and cause fatal accidents. To resolve the safety issues of autonomous driving systems, a recent set of testing techniques have been designed to automatically generate test cases, e.g., new input images transformed from the original ones. Unfortunately, many such generated input images often render inferior authenticity, lacking accurate semantic information of the driving scenes and hence compromising the resulting efficacy and reliability. In this paper, we propose DeepRoad, an unsupervised framework to automatically generate large amounts of accurate driving scenes to test the consistency of DNN-based autonomous driving systems across different scenes. In particular, DeepRoad delivers driving scenes with various weather conditions (including those with rather extreme conditions) by applying the Generative Adversarial Networks (GANs) along with the corresponding real-world weather scenes. Moreover, we have implemented DeepRoad to test three well-recognized DNN-based autonomous driving systems. Experimental results demonstrate that DeepRoad can detect thousands of behavioral inconsistencies in these systems.

연구 동기 및 목표

• 강건한 DNN 기반 자율주행 시스템의 테스트를 단순한 이미지 필터를 넘어서 촉발한다.
• 극한 기상 상황에서 실제 주행 장면을 합성하기 위한 비지도 GAN 기반 프레임워크를 도입한다.
• 날씨 변형된 장면들 간의 주행 결정 일관성을 테스트하기 위한 메타모달 관계를 정의한다.
• 실제 자율주행 모델에 대해 프레임워크를 평가해 강건성의 차이를 드러낸다.

제안 방법

• UNIT(GAN+VAE)을 사용해 장면 도메인(정상 vs 눈내림/비) 간의 비지도 이미지-투-이미지 변환을 수행한다.
• 두 도메인에서 매칭되지 않는 실제 주행 이미지를 사용해 UNIT을 학습시켜 공유 잠재공간을 학습한다.
• 학습된 UNIT을 적용해 각 원래 주행 장면을 날씨 변형 버전 tau(i)로 변환한다.
• 원래 이미지 쌍과 변환된 이미지를 자율주행 DNN에 입력하고 조향 출력의 차이를 비교해 불일치를 탐지한다.
• i와 tau(i) 간의 예측 조향 각도 차이에 임계값 차이를 적용해 불일치 여부를 정량화한다.
• Udacity의 세 가지 주행 모델(Autumn, Chauffeur, Rwightman)을 Udacity 및 YouTube에서 수집한 날씨 데이터로 평가한다.

실험 결과

연구 질문

• RQ1 GAN 기반 메타모픽 변환이 실제와 같은 주행 장면을 다양한 기상 조건에서 생성할 수 있는가?
• RQ2 주행 장면이 눈 내림 또는 비 조건으로 변환될 때 DNN 기반 자율주행 시스템의 조향 예측이 일관되지 않는가?
• RQ3 메타모픽 기상 변환 하에서 어떤 모델이 더 큰 강건성 또는 취약성을 보이는가?
• RQ4 다양한 오차 한계가 모델 간 탐지된 불일치에 어떤 영향을 주는가?

주요 결과

모델	일관성 없는 동작의 수	장면	10°	20°	30°	40°
Autumn	11635	Snowy	11635	11602	11388	10239
Chauffeur	4839	Snowy	4839	2105	1093	653
Rwightman	334	Snowy	334	115	45	14
Autumn	5279	Rainy	5279	5279	5279	5279
Chauffeur	710	Rainy	710	175	94	71
Rwightman	656	Rainy	656	92	23	0

• DeepRoad는 눈 내림과 비 조건에서 세 가지 Udacity 주행 모델 간 수천 건의 불일치하는 조향 예측을 식별한다.
• Autumn이 두 기상 시나리오 모두에서 가장 높은 불일치를 보인 반면, Rwightman은 조건 간에 가장 안정적이다.
• 비가 오는 조건에서 10° 오차 한계일 때 탐지된 불일치는 Autumn 5279, Chauffeur 710, Rwightman 656이다.
• 눈이 오는 조건에서 10° 오차 한계일 때 탐지된 불일치는 Autumn 11635, Chauffeur 4839, Rwightman 334이다.
• 오차 한계를 높일수록 일반적으로 각 모델의 탐지 불일치 수가 감소하여 강건성 차이가 나타난다.
• GAN으로 생성된 장면은 실제 기상 장면과 질적으로 유사하며 도로 구조 및 객체와 같은 주요 의미 내용을 보존한다.