[論文レビュー] Mathematical Analysis of Adversarial Attacks

Zehao Dou, Stanley Osher+1 more|arXiv (Cornell University)|Nov 15, 2018

Adversarial Robustness in Machine Learning参考文献 27被引用数 9

ひとこと要約

本稿は敵対的攻撃の数学的分析を提供し、小規模な摂動でReLU活性化を用いた畳み込みニューラルネットワーク（CNN）をいかなるものでもだますことができる、非標的および標的付きの高速勾配符号法（FGSM）が証明されている。2層ネットワークにおいては、Carlini-Wagner $L_2$（CW-L2）攻撃が、標的クラスと真のクラスの間の確率比を向上させることを示しており、CIFAR-10を用いた数値的検証がなされている。

ABSTRACT

In this paper, we analyze efficacy of the fast gradient sign method (FGSM) and the Carlini-Wagner's L2 (CW-L2) attack. We prove that, within a certain regime, the untargeted FGSM can fool any convolutional neural nets (CNNs) with ReLU activation; the targeted FGSM can mislead any CNNs with ReLU activation to classify any given image into any prescribed class. For a special two-layer neural network: a linear layer followed by the softmax output activation, we show that the CW-L2 attack increases the ratio of the classification probability between the target and ground truth classes. Moreover, we provide numerical results to verify all our theoretical results.

研究の動機と目的

• ReLU活性化を用いた深層ニューラルネットワークにおけるFGSMおよびCW-L2攻撃の有効性を理論的に分析すること。
• 非標的および標的付きFGSMが、ReLU活性化を用いた任意のCNNを効果的にだますことができる条件を確立すること。
• 2層ネットワークにおけるCW-L2攻撃が、標的クラスと真のクラスの分類確率比に与える影響を調査すること。
• CIFAR-10ベンチマークを用いてResNet56で理論的結果を数値実験により検証すること。
• 実務における標的および非標的敵対的攻撃の適用に向けた理論的指針を提供すること。

提案手法

• 攻撃強度 $\epsilon$ が小さい場合、$L_\infty$ 摂動制約下で損失を最大化することにより、非標的FGSMが任意のReLU活性化CNNを小規模な摂動でだますことができることを証明する。
• 標的付きFGSMの更新則を $x' = x - \epsilon \cdot \text{sign}(\nabla_x L(x, e_t))$ として導出する。ここで $e_t$ はワンホット表現の標的ラベルである。
• 2層ネットワーク（線形層＋ソフトマックス）におけるCW-L2攻撃を分析し、標的クラスと真のクラスの間の分類確率比が向上することを示す。
• 1次近似を用いてFGSMの更新則を導出する：非標的攻撃では $x' = x + \epsilon \cdot \text{sign}(\nabla_x L(x, y))$ となる。
• クリッピングを用いて摂動の上限を維持する反復的FGSM（IFGSM）を実装する：$x^{(m)} = \text{Clip}_{x,\alpha}\{x^{(m-1)} + \epsilon \cdot \text{sign}(\nabla_x L(x^{(m-1)}, y))\}$。
• CW-L2目的関数を10イテレーションにわたり解くために、Adam最適化法を用い、$c=10$、$\kappa=0$、学習率 $0.01$ を設定する。

実験結果

リサーチクエスチョン

• RQ1 非標的FGSM攻撃が、任意のReLU活性化CNNを効果的にだますことができる条件は何か？
• RQ2 標的付きFGSM攻撃は、ReLU活性化ネットワークにおいて、任意の入力画像を任意の指定された標的クラスに確実に誤分類できるか？
• RQ3 2層ネットワークにおけるCW-L2攻撃は、標的クラスと真のクラスの相対的分類確率にどのように影響を与えるか？
• RQ4 攻撃強度 $\epsilon$ とResNet56におけるFGSMおよびIFGSM攻撃の成功確率との関係は何か？
• RQ5 実際の応用において、CW-L2攻撃は予測確率分布を標的クラスにどの程度シフトさせるか？

主な発見

• 小規模な $\epsilon$ に対して、非標的FGSM攻撃はResNet56の分類精度を単調に低下させ、$\epsilon$ が 0.1 を超えると精度が低下する。
• 標的付きFGSM攻撃の成功率はイテレーション数が増えるにつれて上昇し、CIFAR-10において $\epsilon = 0.02$ で10イテレーションで90％を超える。
• $\epsilon \leq 0.015$ の範囲では、標的付きFGSMの成功率は $\epsilon$ が増加するにつれて上昇するが、この閾値を超えると急激に低下し、最適な摂動範囲があることが示された。
• CW-L2攻撃により、1000枚のネコ画像のうち750枚がイヌに誤分類され、確率質量がクラス4（ネコ）からクラス6（イヌ）にシフトした。
• ネコ画像がクラス9に誤分類される確率は、CW-L2攻撃後、0.0048から0.004に減少し、モデルが標的クラスに対する信頼性が向上していることが確認された。
• 数値的結果により、CW-L2攻撃が理論的分析で予測した通り、標的クラスと真のクラスの分類確率比を向上させることを確認した。