[論文レビュー] Distributionally Adversarial Attack

Tianhang Zheng, Changyou Chen+1 more|arXiv (Cornell University)|Aug 16, 2018

Adversarial Robustness in Machine Learning参考文献 24被引用数 11

ひとこと要約

本稿では、個々のサンプルではなくデータ分布の空間上で最適化する新しい一階 $L_∞$ adversarial attack である Distributionally Adversarial Attack (DAA) を提案する。Wasserstein 勾配フローを用いて、グローバルに最適で相関関係を持つ摂動を生成する。DAA は、最先端の adversarially trained モデルにおいて PGD を上回り、MadryLab の非公開 MNIST モデル（$epsilon=0.3$）では 88.79% の攻撃成功率を達成し、CIFAR-10（$epsilon=8.0$）では 44.71% を記録した。これは MIT MadryLab のホワイトボックスランクイングで第1位を獲得した。

ABSTRACT

Recent work on adversarial attack has shown that Projected Gradient Descent (PGD) Adversary is a universal first-order adversary, and the classifier adversarially trained by PGD is robust against a wide range of first-order attacks. It is worth noting that the original objective of an attack/defense model relies on a data distribution $p(\mathbf{x})$, typically in the form of risk maximization/minimization, e.g., $\max/\min\mathbb{E}_{p(\mathbf(x))}\mathcal{L}(\mathbf{x})$ with $p(\mathbf{x})$ some unknown data distribution and $\mathcal{L}(\cdot)$ a loss function. However, since PGD generates attack samples independently for each data sample based on $\mathcal{L}(\cdot)$, the procedure does not necessarily lead to good generalization in terms of risk optimization. In this paper, we achieve the goal by proposing distributionally adversarial attack (DAA), a framework to solve an optimal {\em adversarial-data distribution}, a perturbed distribution that satisfies the $L_\infty$ constraint but deviates from the original data distribution to increase the generalization risk maximally. Algorithmically, DAA performs optimization on the space of potential data distributions, which introduces direct dependency between all data points when generating adversarial samples. DAA is evaluated by attacking state-of-the-art defense models, including the adversarially-trained models provided by {\em MIT MadryLab}. Notably, DAA ranks {\em the first place} on MadryLab's white-box leaderboards, reducing the accuracy of their secret MNIST model to $88.79\%$ (with $l_\infty$ perturbations of $ε= 0.3$) and the accuracy of their secret CIFAR model to $44.71\%$ (with $l_\infty$ perturbations of $ε= 8.0$). Code for the experiments is released on \url{https://github.com/tianzheng4/Distributionally-Adversarial-Attack}.

研究の動機と目的

• PGD などの一階 adversarial attack が個々のサンプルごとに摂動を生成し、グローバルなリスク最適化を欠くという限界を是正すること。
• 確率測度の空間上で最適化することで、一般化リスクを最大化する原理的で分布レベルの adversarial attack フレームワークを構築すること。
• より効果的でグローバルに一貫性のある摂動を生成することで、adversarially trained モデルの堅牢性評価を向上させること。
• 標準的な PGD よりも強い攻撃を生み出すために、分布最適化の視点が有効であることを示すこと、特に一階法に対して耐性があるとされるモデルに対しても。

提案手法

• DAA は、$L_\infty$ 制約下で一般化リスクを最大化するように、確率測度の空間上で攻撃を最適化する。
• エネルギー関数がデータ多様体を反映し、モデルの損失目的と整合するように設計された Wasserstein 勾配フロー（WGFs）を用いる。
• テストデータを用いた粒子近似により真のデータ多様体を推定し、分布レベルの最適化を実用的なアルゴリズムに変換する。
• その結果得られるアルゴリズムは、バッチ全体にわたって明示的に依存する摂動を生成するが、PGD とは異なり、各サンプルごとに独立に摂動を生成する。
• 2 種類のバリエーションを実装：DAA-BLOB（損失に基づくエネルギー関数）と DAA-DGF（データ勾配フローに基づくエネルギー関数）。
• MNIST、FMNIST、CIFAR-10、ImageNet における堅牢なモデルを用い、標準ベンチマークで PGD や Momentum PGD と比較して評価した。

実験結果

リサーチクエスチョン

• RQ1 データ分布の空間上で最適化する攻撃は、PGD などの標準的一階攻撃よりも堅牢性評価において優れているか？
• RQ2 分布レベルの最適化アプローチは、個々のサンプルごとの PGD よりも効果的で、グローバルに一貫性のある摂動を生成し、より良い一般化を実現するか？
• RQ3 Wasserstein 勾配フロー枠組みは、$L_\infty$ 制約下でより強い adversarial attack を生成するために効果的に適応可能か？
• RQ4 DAA は、最先端の adversarially trained モデル、特に一階法に対して耐性があるとされるモデルに対して、どのように性能を発揮するか？
• RQ5 PGD を用いた adversarial training で学習されたモデルに対して、提案された分布的攻撃フレームワークは、既存の手法よりも効果的か？

主な発見

• DAA は MIT MadryLab のホワイトボックスランクイングで最高の攻撃成功率を記録し、非公開 MNIST モデルの精度を $\epsilon=0.3$ の $L_\infty$ 摂動で 88.79% まで低下させた。
• 非公開 CIFAR-10 モデルでは、$\epsilon=8.0$ の $L_\infty$ 摂動で精度を 44.71% まで低下させ、ランクイングに掲載されたすべての攻撃を上回った。
• 1 回の実行で、MadryLab の MNIST モデルの精度を 90.5%（PGD では 92.5%）まで低下させ、攻撃の強度が優れていることを示した。
• FMNIST では、adversarially trained モデルの精度を 67.6%（PGD では 71.5%）まで低下させ、p 値は 0.0 および 3e-27 と統計的に有意であった。
• ImageNet では、アンサンブルで訓練された adversarially trained Inception ResNet-v2 モデルの精度を、たった $2/255$ の $L_\infty$ 摂動で 16.43% まで低下させ、Rand+FGSM の 70% よりも著しく低かった。
• 50 回のランダムリスタートを用いた DAA は、公開 MNIST で 88.7%、非公開 MNIST で 88.79% を達成し、PGD や Momentum PGD を常に上回った。