[論文レビュー] Fast Gradient Non-sign Methods

Yaya Cheng, Jingkuan Song+4 more|arXiv (Cornell University)|Oct 25, 2021

Adversarial Robustness in Machine Learning参考文献 37被引用数 4

ひとこと要約

本稿では、ℓ∞制約下における勾配ベースの adversarial 攻撃における符号操作に起因する方向的バイアスを低減するため、テイラー展開に基づく精錬によって真の勾配と摂動の乖離を是正する、一般化可能で計算コストが極めて低い代替手法である Fast Gradient Non-sign Method (FGNM) を提案する。FGNM は計算コストをほとんど増加させることなく最先端の性能を達成し、未ターゲットのブラックボックス攻撃の成功率を最大で 27.5% 向上させるとともに、防御モデルに対するターゲット攻撃でも平均で 15.1% 向上する。

ABSTRACT

Adversarial attacks make their success in DNNs, and among them, gradient-based algorithms become one of the mainstreams. Based on the linearity hypothesis, under $\ell_\infty$ constraint, $sign$ operation applied to the gradients is a good choice for generating perturbations. However, side-effects from such operation exist since it leads to the bias of direction between real gradients and perturbations. In other words, current methods contain a gap between real gradients and actual noises, which leads to biased and inefficient attacks. Therefore in this paper, based on the Taylor expansion, the bias is analyzed theoretically, and the correction of $sign$, i.e., Fast Gradient Non-sign Method (FGNM), is further proposed. Notably, FGNM is a general routine that seamlessly replaces the conventional $sign$ operation in gradient-based attacks with negligible extra computational cost. Extensive experiments demonstrate the effectiveness of our methods. Specifically, for untargeted black-box attacks, ours outperform them by 27.5% at most and 9.5% on average. For targeted attacks against defense models, it is 15.1% and 12.7%. Our anonymous code is publicly available at https://github.com/yaya-cheng/FGNM

研究の動機と目的

• ℓ∞ 制約下における勾配ベースの adversarial 攻撃において符号操作が引き起こす方向的バイアスを解消すること。
• テイラー展開を用いて、符号操作によって生じる真の勾配と摂動の乖離を理論的に分析すること。
• 計算コストを増加させることなく、バイアスを是正する一般的かつ即座に統合可能な手法（Fast Gradient Non-sign Method: FGNM）を提案すること。
• 未ターゲットおよびターゲット攻撃、特に防御モデルを対象とした状況において、FGNM の優位性を実験的に検証すること。
• 精錬された摂動方向が、より効率的かつ効果的な adversarial 例の生成に寄与することを示すこと。

提案手法

• 符号関数が引き起こす偏差をモデル化するため、テイラー展開を用いて是正された摂動方向を導出する。
• 標準的な符号操作の代わりに、符号の大きさを保持しつつ真の勾配方向により近づいた方向を用いる。
• 2段階のプロセスで是正を実施：まず摂動方向を真の勾配に一致させ、次にℓ∞ノルム制約を維持するようにクリッピングを行う。
• 既存の勾配ベースの攻撃に容易に統合可能なシームレスなドロップイン代替手法として設計されており、コード変更は最小限に抑える。
• 2 種類のバリエーションを導入：FGNM N（固定スケール）と FGNM K（適応的スケール）、大きさと方向の正確さのバランスをとる。
• 追加のフォワードパスや複雑な最適化を避けることで、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 符号操作は、ℓ∞ 制約下の勾配ベースの adversarial 攻撃において、どのように方向的バイアスを生じさせるか？
• RQ2 真の勾配と符号に基づく摂動との乖離は、どの程度攻撃性能を低下させるか？
• RQ3 テイラー展開に基づく是正により、この方向的バイアスを低減しつつ計算効率を維持できるか？
• RQ4 符号関数を是正された方向に置き換えることで、未ターゲットおよびターゲット両設定において攻撃成功率が向上するか？
• RQ5 最先端の攻撃手法と比較して、FGNM は防御モデルに対してどの程度の性能を示すか？

主な発見

• FGNM N は、I-FGSM と比較して平均で 2.1%、MI-FGSM と比較して平均で 11.2%、adversarial ノイズの ℓ2 ノルムを低減しており、より効率的な摂動であることを示している。
• FGNM N では、摂動と真の勾配のコサイン類似度が I-FGSM と比較して平均で 0.4 向上しており、方向的バイアスの低減が確認された。
• 未ターゲットのブラックボックス攻撃では、FGNM は最先端手法と比較して最大で 27.5%、平均で 9.5% の成功率向上を達成した。
• 防御モデルを標的とした攻撃では、FGNM は最大成功率で 15.1%、平均成功率で 12.7% 向上した。
• MI-FGNM N では、イテレーション 10 時に摂動のクリッピング率がわずか 15% にとどまり、MI-FGSM よりもクリッピングによる歪みが少なく、方向の保持が優れていることが示された。
• 可視化結果から、FGNM N は元画像とほとんど区別がつかない adversarial 例を生成しているのに対し、FGNM K はわずかにノイズレベルが上昇するものの、人間の知覚に影響を与えることなく、見えにくさを損なわないことが確認された。