[論文レビュー] Detecting Adversarial Samples for Deep Neural Networks through Mutation Testing

Jingyi Wang, Jun Sun+2 more|arXiv (Cornell University)|May 14, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用数 43

ひとこと要約

本論文は nMutant を提案します。これは DNNs のブラックボックス的敵対的サンプル検知器であり、変異検査を用いてランダムな摂動に対するサンプル感度を測定し、SPRТ に基づく意思決定で敵対的入力を検出します。MNIST および CIFAR-10 において、通常のサンプルと比較して敵対的サンプルの感度が高く、控えめな変異回数で顕著な検出精度を達成します。

ABSTRACT

Recently, it has been shown that deep neural networks (DNN) are subject to attacks through adversarial samples. Adversarial samples are often crafted through adversarial perturbation, i.e., manipulating the original sample with minor modifications so that the DNN model labels the sample incorrectly. Given that it is almost impossible to train perfect DNN, adversarial samples are shown to be easy to generate. As DNN are increasingly used in safety-critical systems like autonomous cars, it is crucial to develop techniques for defending such attacks. Existing defense mechanisms which aim to make adversarial perturbation challenging have been shown to be ineffective. In this work, we propose an alternative approach. We first observe that adversarial samples are much more sensitive to perturbations than normal samples. That is, if we impose random perturbations on a normal and an adversarial sample respectively, there is a significant difference between the ratio of label change due to the perturbations. Observing this, we design a statistical adversary detection algorithm called nMutant (inspired by mutation testing from software engineering community). Our experiments show that nMutant effectively detects most of the adversarial samples generated by recently proposed attacking methods. Furthermore, we provide an error bound with certain statistical significance along with the detection.

研究の動機と目的

• 敵対的サンプルを既知の攻撃データに依存せずに堅牢に検出する動機付け。
• 敵対的入力は通常の入力よりもランダムな摂動に対して感度が高いことを示す。
• 統計的保証を持つ変異検査を用いた実用的でスケーラブルな検知器を開発する。
• MNIST と CIFAR-10 に対する設定パラメータの指針を提供し、効果を示す。

提案手法

• 入力 x を摂動して x_m を現実的な摂動範囲内のラベル付き変異として定義する変異検査フレームワークを規定する。
• 感度 κ(x) を、モデルの出力を変える変異の分率として測定する： κ(x) = |{x_m : f(x_m) ≠ f(x)}| / |X_m(x)|。
• κ(x) > μ·κ1 または κ(x) ≤ μ·κ1 を制御された誤り α, β で決定するため Sequential Probability Ratio Test (SPRT) を適用する。
• κ1 を通常サンプル感度の上限とし、μ, α, β, σ を用いて意思決定領域と信頼を制御する。
• 現実的な摂動を捉え κnor と κadv の分離を最大化する StepSize で変異を生成する。
• 決定が境界付き誤差で停止する practical なアルゴリズム (Algorithm 1) を提供する。

実験結果

リサーチクエスチョン

• RQ1 変異検査はモデル内部の知識がなくても通常サンプルと敵対的サンプルを区別する信号を信頼できるように作り出せるか。
• RQ2 一般的な攻撃に対して通常サンプルと敵対的サンプルのランダム摂動に対する感度の経験的差はどの程度か。
• RQ3 MNIST および CIFAR-10 で所定の信頼度で敵対的入力を検出するには何回の変異が必要か。
• RQ4 パラメータの選択（StepSize, κ1, μ, α, β）は検出精度と効率にどう影響するか。

主な発見

• 敵対的サンプルは FGSM, C&W, JSMA, Black-box 攻撃を横断して通常サンプル κnor よりも有意に高い変異感度 κadv を示す。
• StepSize が小さいと κnor と κadv の距離が大きくなり早期検出を助ける一方、StepSize が大きいとこの距離は縮小する。
• 検出精度は MNIST で平均 77.4%、CIFAR-10 で平均 76.6%、サンプルあたり約 33 回の変異（MNIST）と 46.5 回の変異（CIFAR-10）で達成される。
• 検出は誤ラベルのデータを特定することにも有効であり、再ラベリングの可能性を示唆する。
• 通常サンプルは高い精度で正しく識別され、平均約 97% の精度。
• 検知器はブラックボックス方式で動作し、各入力について信頼区間付きの意思決定を提供する。