[論文レビュー] DeepRoad: GAN-based Metamorphic Autonomous Driving System Testing

Mengshi Zhang, Yuqun Zhang+3 more|arXiv (Cornell University)|Feb 7, 2018

Software Testing and Debugging Techniques参考文献 12被引用数 63

ひとこと要約

DeepRoad は GAN ベースの画像-to-画像変換を用いて現実的な天候条件の運転シーンを合成し、極端な天候（雪・雨）の下で DNN に基づく自動運転システムの一貫性の欠如を検出するために metamorphic testing を適用します。

ABSTRACT

While Deep Neural Networks (DNNs) have established the fundamentals of DNN-based autonomous driving systems, they may exhibit erroneous behaviors and cause fatal accidents. To resolve the safety issues of autonomous driving systems, a recent set of testing techniques have been designed to automatically generate test cases, e.g., new input images transformed from the original ones. Unfortunately, many such generated input images often render inferior authenticity, lacking accurate semantic information of the driving scenes and hence compromising the resulting efficacy and reliability. In this paper, we propose DeepRoad, an unsupervised framework to automatically generate large amounts of accurate driving scenes to test the consistency of DNN-based autonomous driving systems across different scenes. In particular, DeepRoad delivers driving scenes with various weather conditions (including those with rather extreme conditions) by applying the Generative Adversarial Networks (GANs) along with the corresponding real-world weather scenes. Moreover, we have implemented DeepRoad to test three well-recognized DNN-based autonomous driving systems. Experimental results demonstrate that DeepRoad can detect thousands of behavioral inconsistencies in these systems.

研究の動機と目的

• 単純な画像フィルタを超えた DNN ベースの自動運転システムの頑健性テストを動機づける。
• 極端な天候下で現実的な運転シーンを合成する、教師なしの GAN ベースのフレームワークを導入する。
• 天候変換シーン間での運転判断の一貫性を検証するための metamorphic 関係を定義する。
• 実世界の自動運転モデルでフレームワークを評価し、頑健性のギャップを明らかにする。

提案手法

• UNIT（GAN+VAE）を用いて、シーン領域（晴れ vs 雪/雨）間の教師なし画像変換を行う。
• 2つのドメインからのペアなし実車画像を用いて UNIT を訓練し、共有潜在空間を学習する。
• 学習済み UNIT を適用して、各元の運転シーンを天候変換版 tau(i) に変換する。
• 元の画像と変換後の画像のペアを自動運転 DNN に入力し、操舵出力を比較して一貫性の欠如を検出する。
• i と tau(i) による予測操舵角の閾値付き差分を用いて不一致を定量化する。
• Udacity の 3 つの運転モデル（Autumn、Chauffeur、Rwightman）を、Udacity および YouTube 由来の天候データを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 GAN ベースのメタモルフィック変換は、天候条件を跨いで現実的に見える運転シーンを生み出せるか？
• RQ2 運転シーンが雪道や雨天に変換されたとき、DNN ベースの自動運転システムは操舵予測の一貫性を欠く成績を示すか？
• RQ3 どのモデルがメタモルフィック気象変換の下でより頑健性または脆弱性を示すか？
• RQ4 異なる誤差境界がモデル間で検出される不一致にどう影響するか？

主な発見

Model	Num. of Inconsistent Behaviors	Scene	10°	20°	30°	40°
Autumn	11635	Snowy	11635	11602	11388	10239
Chauffeur	4839	Snowy	4839	2105	1093	653
Rwightman	334	Snowy	334	115	45	14
Autumn	5279	Rainy	5279	5279	5279	5279
Chauffeur	710	Rainy	710	175	94	71
Rwightman	656	Rainy	656	92	23	0

• DeepRoad は、雪天・雨天条件下で 3 つの Udacity 自動運転モデルにおいて数千の操舵予測の不一致を特定する。
• Autumn は両方の天候シナリオで最も高い不一致を示し、Rwightman は条件を通じて最も安定している。
• 雨天条件下での 10° の誤差境界では、検出された不一致は 5279 (Autumn)、710 (Chauffeur)、656 (Rwightman) 。
• 雪天条件下での 10° の誤差境界では、検出された不一致は 11635 (Autumn)、4839 (Chauffeur)、334 (Rwightman)。
• 誤差境界を大きくすると、各モデルで検出される不一致の数は一般に減少し、頑健性の差を示す。
• GAN 生成のシーンは定性的には実際の天候シーンに似ており、道路構造や物体などの主要な意味内容を保持する。