[論文レビュー] Coverage-Guided Fuzzing for Deep Neural Networks.

Xiaofei Xie, Lei Ma+8 more|arXiv (Cornell University)|Sep 4, 2018

Adversarial Robustness in Machine Learning参考文献 49被引用数 32

ひとこと要約

DeepHunterは、変形的変異と複数のプラグイン型カバレッジ基準を用いて、深層ニューラルネットワークにおける欠陥を自動で検出するカバレッジガイドドのファジングフレームワークである。これは、特にリソース制約のあるプラットフォームへのデプロイのためのモデル量子化中に生じる欠陥を特定するうえで、テストカバレッジを著しく向上させ、誤った動作を特定する。

ABSTRACT

In company with the data explosion over the past decade, deep neural network (DNN) based software has experienced unprecedented leap and is becoming the key driving force of many novel industrial applications, including many safety-critical scenarios such as autonomous driving. Despite great success achieved in various human intelligence tasks, similar to traditional software, DNNs could also exhibit incorrect behaviors caused by hidden defects causing severe accidents and losses. In this paper, we propose DeepHunter, an automated fuzz testing framework for hunting potential defects of general-purpose DNNs. DeepHunter performs metamorphic mutation to generate new semantically preserved tests, and leverages multiple plugable coverage criteria as feedback to guide the test generation from different perspectives. To be scalable towards practical-sized DNNs, DeepHunter maintains multiple tests in a batch, and prioritizes the tests selection based on active feedback. The effectiveness of DeepHunter is extensively investigated on 3 popular datasets (MNIST, CIFAR-10, ImageNet) and 7 DNNs with diverse complexities, under a large set of 6 coverage criteria as feedback. The large-scale experiments demonstrate that DeepHunter can (1) significantly boost the coverage with guidance; (2) generate useful tests to detect erroneous behaviors and facilitate the DNN model quality evaluation; (3) accurately capture potential defects during DNN quantization for platform migration.

研究の動機と目的

• 自動運転などの安全に重要な応用分野で使用される深層ニューラルネットワーク（DNN）における、検出されない欠陥の増加するリスクに対処すること。
• 従来のテスト手法の限界を克服し、意味的テスト生成を用いて、自動的でスケーラブルかつ効果的なDNNのファジングを可能にすること。
• フィードバック駆動のテスト生成を通じて誤った動作を検出することにより、DNNの品質評価を向上させること。
• 量子化中に生じる欠陥を特定することで、モデルのプラットフォーム移行を支援すること。

提案手法

• 入力の特徴を変更しながらも意味的意味を保持するように、変形的変異を用いて新しいテスト入力を生成し、モデルの挙動を調査すること。
• 複数のプラグイン型カバレッジ基準（例：ニューロン、活性化、勾配ベースの指標）をフィードバックとして統合し、多様な視点からテスト生成をガイドすること。
• 大規模なDNN向けにスケーラビリティを向上させるために、複数のテストケースをバッチで維持・処理すること。
• カバレッジ基準からのアクティブなフィードバックに基づいてテストケースを優先順位付けし、高影響度の入力に集中すること。
• カバレッジフィードバックを用いて、エッジケースや欠陥を特定する方向へテスト入力を段階的に改善・進化させること。
• MNIST、CIFAR-10、ImageNetを含む、多様なDNNアーキテクチャとデータセットにおけるエンドツーエンドのテストをサポートすること。

実験結果

リサーチクエスチョン

• RQ1 カバレッジガイドドのファジングは、一般用途のDNNにおけるテストカバレッジを著しく向上させることができるか？
• RQ2 DeepHunterは、異なるアーキテクチャとデータセットにおけるDNNの誤った動作を効果的に検出できるか？
• RQ3 DeepHunterは、リソース制約のあるプラットフォームへのデプロイのためのDNN量子化中に生じる欠陥をどの程度特定できるか？
• RQ4 複数のカバレッジ基準は、DNNの効果的なテスト生成をガイドするうえで、どのように比較されるか？
• RQ5 DeepHunterは、高い検出効率を維持したまま、実用的なサイズのDNNにスケーラブルに適用できるか？

主な発見

• DeepHunterは、6種類の異なるカバレッジ基準を用いて7つの多様なDNNでカバレッジを著しく向上させ、フィードバック駆動のテスト生成の有効性を示した。
• このフレームワークは、DNNにおける誤った挙動を露呈する有用なテストケースを効果的に生成し、より堅牢なモデル品質評価を可能にした。
• DeepHunterは、DNNの量子化中に生じる欠陥を正確に検出でき、ターゲットプラットフォームへの信頼性の高いモデル移行を支援した。
• バッチベースのテスト管理とフィードバック優先順位付け戦略により、大規模なDNNへのスケーラビリティが実現され、検出能力を損なわずに実現した。
• MNIST、CIFAR-10、ImageNetにおける実験により、データセットやモデルの複雑さに関係なく、一貫したパフォーマンス向上が確認された。