[論文レビュー] Symbolic Execution for Deep Neural Networks

Divya Gopinath, Kaiyuan Wang+3 more|arXiv (Cornell University)|Jul 27, 2018

Adversarial Robustness in Machine Learning参考文献 30被引用数 45

ひとこと要約

DeepCheck は ReLU ベースのニューラルネットワークを命令型コードに翻訳し、軽量なシンボリック実行を用いて重要なピクセルを特定し、MNIST に対する 1 ピクセルおよび 2 ピクセルの敵対的攻撃を生成します。

ABSTRACT

Deep Neural Networks (DNN) are increasingly used in a variety of applications, many of them with substantial safety and security concerns. This paper introduces DeepCheck, a new approach for validating DNNs based on core ideas from program analysis, specifically from symbolic execution. The idea is to translate a DNN into an imperative program, thereby enabling program analysis to assist with DNN validation. A basic translation however creates programs that are very complex to analyze. DeepCheck introduces novel techniques for lightweight symbolic analysis of DNNs and applies them in the context of image classification to address two challenging problems in DNN analysis: 1) identification of important pixels (for attribution and adversarial generation); and 2) creation of 1-pixel and 2-pixel attacks. Experimental results using the MNIST data-set show that DeepCheck's lightweight symbolic analysis provides a valuable tool for DNN validation.

研究の動機と目的

• 安全性が重要なアプリケーションにおける深層ニューラルネットワークの安全性とセキュリティ検証を動機づける。
• 不可解な意思決定プロセスと高次元入力に起因する検証の課題に対処する。
• 深層ニューラルネットワーク分析のための実用的なシンボリック実行ベースのフレームワーク（DeepCheck）を提案する。
• 重要なピクセル識別と最小限の敵対的攻撃（1-pixel および 2-pixel）の生成を通じた説明可能性を実現する。

提案手法

• フィードフォワード ReLU ネットワークを、その挙動を反映する命令型プログラムへ翻訳する。
• パス条件を蓄積しつつ、パスを探索するためにシンボリック／コンクロリック実行を適用する。
• 入力に対するパス条件付き線形表現を計算してピクセルの重要性を特定する。
• 3つの重要度指標（abs, co, coi）を用いて、予測ラベルへの影響度で入力ピクセルをランキングする。
• SMT ソルバー（例：Z3）を用いてパス条件を解くことで、ピクセルのサブセットを制約して敵対的入力を合成する。
• MNIST 上でアプローチを評価し、重要ピクセルの属性付けと 1-/2-ピクセル攻撃を示す。

実験結果

リサーチクエスチョン

• RQ1 シンボリック実行は DNN の決定を説明する重要な入力ピクセルを識別できるか？
• RQ2 シンボリック実行は画像に対して信頼できる 1-pixel および 2-pixel の敵対的攻撃を発見できるか？
• RQ3 重要なピクセルは攻撃可能なピクセルとどのように関連し、coi に基づく優先順位付けは攻撃の発見を改善できるか？

主な発見

• シンボリック実行は MNIST 画像に対する分類器の決定を説明する重要なピクセルを特定できる。
• トップの重要なピクセルの中で攻撃可能なピクセルを狙うことで、いくつかの数字に対して 1-pixel 攻撃が見つかる。
• トップの重要なピクセルに焦点を合わせることで 2-pixel 攻撃を発見でき、1-pixel 攻撃では攻撃できないピクセルを含むこともある。
• coi 指標はしばしば上位 5–10% のピクセル内で攻撃可能なピクセルを捉え、効率的な攻撃発見を可能にする。
• 10 桁のうち 9 桁で、上位 4 個の重要ピクセルの組み合わせを調べることで 2-pixel 攻撃が見つかり（組み合わせは最大で 6 組）