[論文レビュー] CAGFuzz: Coverage-Guided Adversarial Generative Fuzzing Testing of Deep Learning Systems

Pengcheng Zhang, Qiyin Dai+1 more|arXiv (Cornell University)|Nov 14, 2019

Adversarial Robustness in Machine Learning参考文献 52被引用数 6

ひとこと要約

CAGFuzz は、データ分布上で一般化可能な敵対的例生成器（AEG）を訓練することにより、深層学習システムのテストを向上させるカバレッジガイドドの敵対的生成ファズングフレームワークです。深層特徴制約（コサイン類似度）を用いて、意味を保持したまま人間には感知できない摂動を生成することで、より高いニューロンカバレッジを達成し、隠れたエラーを検出するとともに、標準データセット全体でDNNの精度を向上させます。

ABSTRACT

Deep Learning systems (DL) based on Deep Neural Networks (DNNs) are more and more used in various aspects of our life, including unmanned vehicles, speech processing, and robotics. However, due to the limited dataset and the dependence on manual labeling data, DNNs often fail to detect their erroneous behaviors, which may lead to serious problems. Several approaches have been proposed to enhance the input examples for testing DL systems. However, they have the following limitations. First, they design and generate adversarial examples from the perspective of model, which may cause low generalization ability when they are applied to other models. Second, they only use surface feature constraints to judge the difference between the adversarial example generated and the original example. The deep feature constraints, which contain high-level semantic information, such as image object category and scene semantics are completely neglected. To address these two problems, in this paper, we propose CAGFuzz, a Coverage-guided Adversarial Generative Fuzzing testing approach, which generates adversarial examples for a targeted DNN to discover its potential defects. First, we train an adversarial case generator (AEG) from the perspective of general data set. Second, we extract the depth features of the original and adversarial examples, and constrain the adversarial examples by cosine similarity to ensure that the semantic information of adversarial examples remains unchanged. Finally, we retrain effective adversarial examples to improve neuron testing coverage rate. Based on several popular data sets, we design a set of dedicated experiments to evaluate CAGFuzz. The experimental results show that CAGFuzz can improve the neuron coverage rate, detect hidden errors, and also improve the accuracy of the target DNN.

研究の動機と目的

• 既存の敵対的例生成技術に見られるモデル特異的特性による一般化の欠如を解消すること。
• 浅いピクセルレベルの制約の限界を克服し、高レベルの意味的深層特徴を統合すること。
• 開発段階およびデプロイ段階におけるDNNのニューロンカバレッジを向上させ、隠れた欠陥を検出すること。
• 深層特徴類似度を用いて意味的一致性を保ったまま、自然で人間には感知できない敵対的例を生成すること。
• 敵対的生成例を用いた再訓練により、DNNのロバストネスを向上させること。

提案手法

• 特定のDNNアーキテクチャに依存せずに、一般データセット上で敵対的例生成器（AEG）を訓練すること。
• 元の例と敵対的例の深層特徴間のコサイン類似度を用いて、意味的一致性を制約すること。
• 元の入力に小さな、人間には感知できない摂動を加えて敵対的例を生成すること。
• ニューロンカバレッジをフィードバックとして用い、反復的な生成をガイドし、カバレッジを最大化すること。
• 生成された敵対的例を用いて、ターゲットDNNを再訓練することで、ロバストネスを向上させること。
• 有効な摂動挿入のため、ドメイン適応技術を活用してデータドメイン間をマッピングすること。

実験結果

リサーチクエスチョン

• RQ1 一般化可能なデータベースの訓練に基づいて生成された敵対的例は、モデル特異的手法と比較して、より優れたモデル間一般化性を達成できるか？
• RQ2 コサイン類似度を用いた深層特徴による制約は、ピクセルレベルの制約と比較して、意味の保持をより効果的に行えるか？
• RQ3 深層特徴制約を組み込んだカバレッジガイドドの敵対的ファズングは、DNNにおける隠れたエラーをより多く検出できるか？
• RQ4 CAGFuzzで生成された例を用いた再訓練は、DNNの精度とロバストネスをどの程度向上させるか？
• RQ5 CAGFuzzは、DeepHunter や DeepTest といった既存の手法と比較して、カバレッジおよびエラー検出の観点でどの程度優れているか？

主な発見

• CAGFuzz は、複数の標準データセットにおいてニューロンカバレッジを顕著に向上させ、DNN活性化空間の効果的な探索を実証した。
• 本手法は、高度なDNNモデルにおいて、以前に検出されなかった数千件の誤動作を検出できた。
• CAGFuzz が生成した敵対的例は、深層特徴制約による検証を通じて、元の入力と高い意味的類似性を維持していることが確認された。
• CAGFuzz が生成した例を用いた再訓練により、DNNの精度に顕著な向上が見られた。
• より優れた一般化性と意味的一致性の保持のおかげで、CAGFuzz は DeepHunter や DeepTest といった既存手法を、カバレッジおよびエラー検出の両面で上回った。
• 深層特徴制約の使用により、ピクセルレベルの制約手法と比較して、より深いネットワーク層の効果的なテストが可能になった。