[論文レビュー] DeepTest: Automated Testing of Deep-Neural-Network-driven Autonomous Cars

Yuchi Tian, Kexin Pei+2 more|arXiv (Cornell University)|Aug 28, 2017

Adversarial Robustness in Machine Learning参考文献 53被引用数 220

ひとこと要約

DeepTest は、ニューロンカバレッジを最大化するように画像変換を適用して現実的なテスト入力を自動的に合成し、メタモルフィック関係を用いて自動運転モデルにおける誤った DNN 動作を検出します。

ABSTRACT

Recent advances in Deep Neural Networks (DNNs) have led to the development of DNN-driven autonomous cars that, using sensors like camera, LiDAR, etc., can drive without any human intervention. Most major manufacturers including Tesla, GM, Ford, BMW, and Waymo/Google are working on building and testing different types of autonomous vehicles. The lawmakers of several US states including California, Texas, and New York have passed new legislation to fast-track the process of testing and deployment of autonomous vehicles on their roads. However, despite their spectacular progress, DNNs, just like traditional software, often demonstrate incorrect or unexpected corner case behaviors that can lead to potentially fatal collisions. Several such real-world accidents involving autonomous cars have already happened including one which resulted in a fatality. Most existing testing techniques for DNN-driven vehicles are heavily dependent on the manual collection of test data under different driving conditions which become prohibitively expensive as the number of test conditions increases. In this paper, we design, implement and evaluate DeepTest, a systematic testing tool for automatically detecting erroneous behaviors of DNN-driven vehicles that can potentially lead to fatal crashes. First, our tool is designed to automatically generated test cases leveraging real-world changes in driving conditions like rain, fog, lighting conditions, etc. DeepTest systematically explores different parts of the DNN logic by generating test inputs that maximize the numbers of activated neurons. DeepTest found thousands of erroneous behaviors under different realistic driving conditions (e.g., blurring, rain, fog, etc.) many of which lead to potentially fatal crashes in three top performing DNNs in the Udacity self-driving car challenge.

研究の動機と目的

• DNN 主導の自動運転車に対する安全上重要なテストを動機づけ、手動データ収集の限界を指摘する。
• ニューロンカバレッジを DNN の入力-出力空間を探索するための指針信号として導入する。
• ニューロンカバレッジを拡張する現実的で変換ベースのテスト入力を合成する方法を開発する。
• 誤った隅角ケースの挙動を検出する自動テストオラクルとしてメタモルフィック関係を提案する。
• Udacity の自動運転モデルで手法を評価し、検出されたケースを公開する。

提案手法

• ニューロンカバレッジを活性化されたニューロンの総数の比として定義し、それを用いて DNN の入力空間を分割する。
• シード画像に対して明度/コントラスト、ブラー、雨、霧、平行移動、回転、拡大縮小、シアーなどの画像変換を適用して、現実的な合成テスト入力を生成する。
• 複数の変換を組み合わせてカバレッジを最大化するニューロンカバレッジ主導の貪欲探索を提案する。
• 変換後の入力に対する出力間のメタモルフィック関係を用いて、詳細な手動仕様なしに自動的に誤った挙動を検出する。
• Keras/TensorFlow バックボーンを用いて Udacity のトップモデル3つ（Chauffeur、Rambo、Epoch）で DeepTest を実装し、結果を評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューロンカバレッジは自動車の出力（操舵角と方向）と相関するか。
• RQ2 異なる現実的な画像変換は DNN の異なるニューロンを活性化するか。
• RQ3 変換を組み合わせることでさらにニューロンカバレッジを高め、より多くの隅角ケースを明らかにできるか。
• RQ4 変換された入力下で誤った挙動を検出するための有効なテストオラクルとしてメタモルフィック関係は機能するか。

主な発見

• ニューロンカバレッジは異なる入力–出力ペアとともに変化し、モデル全体で操舵角と方向と統計的に有意な相関を示す。
• 異なる画像変換は異なるニューロンを活性化し、変換は一般にモデル間でニューロンカバレッジを増加させる。
• 変換を組み合わせるとカバレッジがさらに増加し、テスト入力合成のためのニューロンカバレッジ主導の探索を支持する。
• DeepTest は、雨・霧・ブラーなど現実的な条件下で三つの Udacity 上位 DNN モデルにおいて、潜在的に致命的なシナリオを含む、数千に及ぶ誤った挙動を発見した。
• 合成テスト画像は DNN の頑健性を改善する再学習に使用でき、著者は検出された誤った挙動を公開し、テスト画像と DeepTest のソースを公開する予定である。