[論文レビュー] Concolic Testing for Deep Neural Networks

Youcheng Sun, Min Wu+4 more|arXiv (Cornell University)|Apr 30, 2018

Adversarial Robustness in Machine Learning被引用数 33

ひとこと要約

本稿では、構造的および頑健性の性質を最大限にカバーするように体系的にテスト入力を生成するため、コンcrete実行と記号的解析を組み合わせた、深層ニューラルネットワーク（DNNs）のための最初のコンコリックテストフレームワークを提示する。この手法は、ニューロンの活性化、リプシッツ連続性、および敵対的例の高カバレッジを達成しており、最小の摂動を伴う敵対的入力を発見する点でランダムテストを上回る優れた性能を示している。

ABSTRACT

Concolic testing combines program execution and symbolic analysis to explore the execution paths of a software program. This paper presents the first concolic testing approach for Deep Neural Networks (DNNs). More specifically, we formalise coverage criteria for DNNs that have been studied in the literature, and then develop a coherent method for performing concolic testing to increase test coverage. Our experimental results show the effectiveness of the concolic testing approach in both achieving high coverage and finding adversarial examples.

研究の動機と目的

• 安全・信頼性が求められる応用分野における深層ニューラルネットワーク（DNNs）の体系的テスト手法の欠如に対処すること。
• 高次元のDNN入力空間を探索する際、ランダムテストと記号的実行のみでは限界があることの克服。
• コンクリート実行と記号的解析を統合したコンコリックテストアプローチを、未達成のカバレッジ基準に向けたテスト生成を誘導するために開発すること。
• ニューロンカバレッジ、リプシッツ連続性、敵対的例検出を含む、多様なカバレッジ基準に対する手法の評価。
• 最小摂動を伴う敵対的例の発見および多様な構造的・頑健性特性における高カバレッジを達成するコンコリックテストの有効性を示すこと。

提案手法

• カバレッジ要件のパラメータ化された集合を、有理数上の量化線形算術（QLAR）で表現する。
• 与えられたカバレッジ要件に近いテスト入力を特定するためのコンクリート実行と、それを満たす新しい入力を生成するための記号的解析を交互に実行する。
• 未満たされた要件ごとに、現在のテストスイート内からその要件を満たすのに最も近いテスト入力を選択し、その後、記号的実行を用いてそれを満たす入力へと精錬する。
• 望ましいカバレッジ閾値に達するまでこのプロセスを繰り返し、テスト入力を段階的にテストスイートに追加する。
• 小さな入力摂動が分類出力を変更するかどうかをチェックすることで、頑健性オラクルを適用し、敵対的例を検出する。
• フレームワークはDeepConcolicツールとして実装されており、敵対的例検出に適した複数の距離計測法（例：L∞、L0、L1、L2）をサポートする。

実験結果

リサーチクエスチョン

• RQ1 コンコリックテストは、深層ニューラルネットワークに効果的に適応可能であり、テストカバレッジを向上させることができるか？
• RQ2 最小摂動を伴う敵対的例を発見する観点で、コンコリックテストはランダムテスト生成と比べてどのように優れているか？
• RQ3 リプシッツ連続性やニューロン活性化パターンを含む、多様なカバレッジ基準において、コンコリックテストがどの程度の高カバレッジを達成できるか？
• RQ4 L∞やL0などの異なる距離計測法に対して、この手法は頑健な敵対的例を検出できるか？
• RQ5 コンコリックテストは、複数の構造的および頑健性特性にわたるDNNのテストに対してスケーラブルかつ整合的なアプローチを提供できるか？

主な発見

• DeepConcolicは、ニューロンカバレッジ（NC）を含む複数の基準で高いカバレッジを達成した。MNISTでは99.9%、CIFAR-10では99.8%のカバレッジを記録した。
• 最小摂動を伴う敵対的例を発見した：L∞ノルムでは1/255 ≈ 0.0039、L0ノルムでは1ピixel。これは、敵対的例検出における高い精度を示している。
• リプシッツ定数のテストにおいて、コンコリックテストは[0.01, 10.38]の範囲をカバーした。ランダムテストは最大で3.23にとどまり、[0.01, 2]に集中していたのと比べ、顕著に優れていた。
• 平均して、コンコリックテストは平均L∞距離が0.0039の敵対的例を発見した。これは、最小摂動攻撃を効果的に特定できることを示している。
• 発見された敵対的例の数は、距離計測法によって顕著に変動した。これは、カバレッジ基準に複数の計測法を用いる重要性を強調している。
• MNISTおよびCIFAR-10のモデルの両方において、この手法は敵対的例の検出に強く、頑健性チェックにより高い検出効果が確認された。