[論文レビュー] Boosting Gradient for White-Box Adversarial Attacks

Hongying Liu, Zhenyu Zhou+4 more|arXiv (Cornell University)|Oct 21, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用数 10

ひとこと要約

本稿では、バックプロパゲーション中のReLU活性化関数における勾配の誤った方向性（'誤ったブロッキング'と'過剰伝搬'）を是正することで、勾配ベースのホワイトボックス攻撃を向上させる新規手法ADV-ReLUを提案する。スコアベースの選択と適応的しきい値による勾配計算の最適化により、ℓ₂ノルムの摂動を低減し、転送性を向上させ、Inception-v4に転送された際の成功確率がベースラインに比べ最大7.0%向上した。

ABSTRACT

Deep neural networks (DNNs) are playing key roles in various artificial intelligence applications such as image classification and object recognition. However, a growing number of studies have shown that there exist adversarial examples in DNNs, which are almost imperceptibly different from original samples, but can greatly change the network output. Existing white-box attack algorithms can generate powerful adversarial examples. Nevertheless, most of the algorithms concentrate on how to iteratively make the best use of gradients to improve adversarial performance. In contrast, in this paper, we focus on the properties of the widely-used ReLU activation function, and discover that there exist two phenomena (i.e., wrong blocking and over transmission) misleading the calculation of gradients in ReLU during the backpropagation. Both issues enlarge the difference between the predicted changes of the loss function from gradient and corresponding actual changes, and mislead the gradients which results in larger perturbations. Therefore, we propose a universal adversarial example generation method, called ADV-ReLU, to enhance the performance of gradient based white-box attack algorithms. During the backpropagation of the network, our approach calculates the gradient of the loss function versus network input, maps the values to scores, and selects a part of them to update the misleading gradients. Comprehensive experimental results on \emph{ImageNet} demonstrate that our ADV-ReLU can be easily integrated into many state-of-the-art gradient-based white-box attack algorithms, as well as transferred to black-box attack attackers, to further decrease perturbations in the ${\ell _2}$-norm.

研究の動機と目的

• 深層ニューラルネットワークにおけるバックプロパゲーション中に勾配計算を歪めるReLU活性化関数の役割が十分に評価されていないことに対処すること。
• 攻撃品質を低下させる2つの特定の勾配誤方向現象（'誤ったブロッキング'と'過剰伝搬'）を同定し是正すること。
• アーキテクチャの変更なしに既存の勾配ベースホワイトボックス攻撃アルゴリズムを強化できる汎用的でプラグイン可能なフレームワークを開発すること。
• 多様なネットワークアーキテクチャ、特にブラックボックス設定においても、 adversarial example のロバストネスと転送性を向上させること。

提案手法

• ADV-ReLUは、ニューロンの重要度を評価するスコアベースマッピングを用いて、ReLUを通じた勾配の再計算をバックプロパゲーション処理に組み込む。
• 入力値と継承された勾配のバランスを取るために制約定数 $ c $ を導入し、ReLUの導関数に起因する誤った方向性を低減する。
• 上位で活性化されたニューロンの割合を制御するソートレート $ s $ が、精度とノイズのトレードオフを最適化する。
• 2段階の勾配是正を適用する：ADV-ReLU-B はバイアス是正に、ADV-ReLU-T は勾配伝搬の最適化に使用する。
• フレームワークは汎用モジュールとして設計されており、I-FGSM や MI-FGSM などの既存ホワイトボックス攻撃アルゴリズムに容易に統合可能である。
• 滑らかで勾配に従った摂動パスを確保するため、適応的ステップサイズ $ \alpha = 0.001 $ を使用する。

実験結果

リサーチクエスチョン

• RQ1 ReLU活性化関数の導関数特性が、 adversarial attack のバックプロパゲーション中に勾配計算をどのように誤った方向に導くのか？
• RQ2 ReLUにおける'誤ったブロッキング'と'過剰伝搬'の是正が、 adversarial example の品質をどの程度向上させるのか？
• RQ3 ADV-ReLUのような汎用的勾配是正フレームワークは、多様なホワイトボックス攻撃アルゴリズムに効果的に統合可能か？ また、摂動の大きさを低減できるか？
• RQ4 向上した勾配の一貫性は、ブラックボックスモデルへの adversarial example の転送性にどのように影響を与えるか？

主な発見

• ADV-ReLUは複数のモデルにおいてホワイトボックス攻撃におけるℓ₂ノルム摂動を低減し、特にInception-v4で最も顕著な改善が得られた。
• I-FGSM と組み合わせた場合、ADV-ReLUはInception-v4における攻撃成功確率をベースラインに比べ7.0%向上させ、転送性の向上を実証した。
• ソートレート $ s $ の最適パラメータ範囲は [0.01, 0.03] であり、ResNet101のような残差ネットワークでは高値で性能が低下した。
• 制約定数 $ c > 0.1 $ は性能を安定化させ、より高いしきい値が勾配の一貫性を高め、誤った方向性を低減することを示唆した。
• 小さなステップサイズ（例：$ \alpha = 0.001 $）は、滑らかで正確な勾配パスを可能にし、ADV-ReLUの有効性を向上させた。
• ADV-ReLU-B と ADV-ReLU-T のサブアルゴリズムは異なる挙動を示した：ADV-ReLU-B は残差ネットワークにおいてパラメータチューニングにより敏感であったが、ADV-ReLU-T は非残差アーキテクチャで勾配伝搬を改善した。