[論文レビュー] Transferable Sparse Adversarial Attack

Ziwen He, Wei Wang+2 more|arXiv (Cornell University)|May 31, 2021

Adversarial Robustness in Machine Learning参考文献 26被引用数 6

ひとこと要約

本稿では、ℓ₀ノルム制約下で転送可能なスパースな敵対的攻撃を生成するジェネレータベースのフレームワークを提案する。摂動をアモニチュードと位置の成分に分離し、学習可能な0-1量子化演算子を用いることで、最先端の手法と比較して700倍高速な推論と著しく高い転送性を達成した。ImageNet上では、スパarsityレベルが同等の条件下でGreedyFoolを最大50%上回る転送性を示した。

ABSTRACT

Deep neural networks have shown their vulnerability to adversarial attacks. In this paper, we focus on sparse adversarial attack based on the $\ell_0$ norm constraint, which can succeed by only modifying a few pixels of an image. Despite a high attack success rate, prior sparse attack methods achieve a low transferability under the black-box protocol due to overfitting the target model. Therefore, we introduce a generator architecture to alleviate the overfitting issue and thus efficiently craft transferable sparse adversarial examples. Specifically, the generator decouples the sparse perturbation into amplitude and position components. We carefully design a random quantization operator to optimize these two components jointly in an end-to-end way. The experiment shows that our method has improved the transferability by a large margin under a similar sparsity setting compared with state-of-the-art methods. Moreover, our method achieves superior inference speed, 700$ imes$ faster than other optimization-based methods. The code is available at https://github.com/shaguopohuaizhe/TSAA.

研究の動機と目的

• ブラックボックス設定下での既存のℓ₀スパース敵対的攻撃の低転送性を是正すること。
• 個々の画像ごとの最適化ではなく、多様なデータ上でジェネレータを学習させることで、ターゲットモデルへの過剰適合を低減すること。
• 新しい微分可能量子化演算子を通じて、スパースな敵対的例のエンドツーエンド学習を可能にすること。
• 最小限の摂動で高い攻撃成功率を達成するとともに、高速な推論速度を維持すること。
• スパースな敵対的例が実世界の応用において、実際に転送可能かつ効率的であることを示すこと。

提案手法

• 本手法は、敵対的摂動をアモニチュードと位置の成分に分離し、それぞれを別々の学習可能なマップとしてモデル化するジェネレータを用いる。
• スパース性を強制するために、位置マップを二値化するランダム量子化演算子を導入し、離散最適化にもかかわらずエンドツーエンド学習を可能にする。
• 訓練では、敵対的損失、位置マップに対するスパース正則化、および訓練と推論の整合性を保つための量子化損失を組み合わせて使用する。
• 推論時には勾配のバックプロpagationを回避することで、1回のフォワードプロパゲーションで敵対的例を生成できる。
• 過剰適合を低減するため、モデルはImageNetデータ上で学習され、多様な画像に一般化するように設計されている。
• 本フレームワークはℓ₀スパース性とℓ∞ノルム制約の両方をサポートしており、現実的な制約下でのロバストネス評価が可能である。

実験結果

リサーチクエスチョン

• RQ1 異なる深層ニューラルネットワークアーキテクチャ間で、ℓ₀スパース敵対的例を高転送性で実現できるか？
• RQ2 大規模データセット上でジェネレータを学習することで、個別画像最適化と比較してターゲットモデルへの過剰適合が低減するか？
• RQ3 微分可能な0-1量子化演算子は、スパース摂動のエンドツーエンド学習を効果的に可能にするか？
• RQ4 アモニチュードと位置の成分を分離することで、スパース敵対的例の品質と転送性がどのように向上するか？
• RQ5 ℓ₀敵対的攻撃において、スパース性、攻撃成功率、推論速度のトレードオフはどのように変化するか？

主な発見

• 提案手法は、ImageNet上でのInceptionV3からResNet50への転送性が63.76%に達し、ピクセル摂動率は0.46%にとどまる。これは、スパース性0.67%で15.09%にとどまるGreedyFoolを上回る。
• ℓ∞ ≤ 10の制約下では、14.47%のスパース性で45.32%の転送性を達成した。これは、GreedyFoolが18.19%のスパース性で10.67%の転送性を示したのと比較して優れている。
• 最適化ベースの手法と比較して700倍高速であり、1例あたり平均6msの推論時間であった。これは、GreedyFoolの20.49秒と比べて顕著な高速化である。
• アブレーションスタディにより、分離と提案された量子化演算子が不可欠であることが確認された。これらを除去すると、転送性が最大40%低下した。
• 大規模データセットでの学習が転送性を向上させることを示した。アブレーション「ad-hoc」では、1画像ごとに学習したモデルは43.97%の転送性であったが、本手法では63.76%に達した。
• 白箱攻撃でも高い成功率（InceptionV3で61.24%）を維持しながら、ブラックボックス転送性でベースラインを著しく上回った。