[論文レビュー] Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm

Mingkang Zhu, Tianlong Chen+1 more|arXiv (Cornell University)|Jun 10, 2021

Adversarial Robustness in Machine Learning参考文献 34被引用数 7

ひとこと要約

本稿では、非凸プログラミングの非単調加速近接勾配法を用いて、正則化されたℓ₀ノルムによるスパarsityとℓ∞ノルムによる人間の知覚に影響しにくい特性を同時に最適化するホモトピー法を提案する。この手法は、CIFAR-10で42.91%、ImageNetで75.03%のパーカッション低減を達成し、厳密なパーカッション制約下でも100%のアタック成功率を維持する。

ABSTRACT

Sparse adversarial attacks can fool deep neural networks (DNNs) by only perturbing a few pixels (regularized by l_0 norm). Recent efforts combine it with another l_infty imperceptible on the perturbation magnitudes. The resultant sparse and imperceptible attacks are practically relevant, and indicate an even higher vulnerability of DNNs that we usually imagined. However, such attacks are more challenging to generate due to the optimization difficulty by coupling the l_0 regularizer and box constraints with a non-convex objective. In this paper, we address this challenge by proposing a homotopy algorithm, to jointly tackle the sparsity and the perturbation bound in one unified framework. Each iteration, the main step of our algorithm is to optimize an l_0-regularized adversarial loss, by leveraging the nonmonotone Accelerated Proximal Gradient Method (nmAPG) for nonconvex programming; it is followed by an l_0 change control step, and an optional post-attack step designed to escape bad local minima. We also extend the algorithm to handling the structural sparsity regularizer. We extensively examine the effectiveness of our proposed homotopy attack for both targeted and non-targeted attack scenarios, on CIFAR-10 and ImageNet datasets. Compared to state-of-the-art methods, our homotopy attack leads to significantly fewer perturbations, e.g., reducing 42.91% on CIFAR-10 and 75.03% on ImageNet (average case, targeted attack), at similar maximal perturbation magnitudes, when still achieving 100% attack success rates. Our codes are available at: https://github.com/VITA-Group/SparseADV_Homotopy.

研究の動機と目的

• ℓ₀スパarsityとℓ∞パーカッション制約を同時に満たすスパースで人間が知覚しにくいアドバーシャルアタックを生成する課題に対処すること。
• ボックス制約付きのℓ₀正則化アドバーシャル損失の非凸的・非滑らか性に起因する最適化の難しさを克服すること。
• 収束が遅い、局所最適解に陥りやすい、スパarsity制御が不柔軟であるといった既存手法の欠点を改善すること。
• より解釈可能で標的を絞ったアタックが可能なピクセル単位およびグループ単位のスパarsityを可能にすること。
• スパarsity、人間の知覚への影響、アタック成功率のバランスを取れる強固で効率的なフレームワークを開発すること。

提案手法

• 本手法は、非凸プログラミングの非単調加速近接勾配（nmAPG）を用いて、ℓ₀正則化アドバーシャル損失を反復的に最適化するホモトピーフレームワークを採用する。
• 各反復では、更新されるピクセル数を制限するℓ₀変化制御ステップを含み、スパarsity制御を確保する。
• 局所最適解から脱出するためのオプションのアフターアタックステップを導入し、パーカッション品質を向上させる。
• 空間的または意味的特徴に基づくグループの定義により、構造的（グループ単位の）スパarsityを扱えるようにアルゴリズムを拡張する。
• ℓ₀スパarsityとℓ∞ノルム制約を同時に強制することで、最小限のピクセル変更と人間が知覚しにくいパーカッションを実現する。
• ハイパーパramータの反復的再重み付けやハイパーパramータ探索のためのバイナリサーチを回避し、SAPF や StrAttack などのMIPベース手法よりも効率的である。

実験結果

リサーチクエスチョン

• RQ1 統一された最適化フレームワークは、アドバーシャルアタックにおけるℓ₀スパarsityとℓ∞人間知覚への影響の両立を効果的に可能にするか？
• RQ2 提案されたホモトピー法は、スパarsityとアタック成功率の観点で最先端手法と比較してどのように優れているか？
• RQ3 ℓ₀変化制御とアフターアタックステップは、収束性とスパarsityの向上にどの程度寄与するか？
• RQ4 本手法は、高いアタック成功率と低いパーカッションノルムを維持したまま、グループ単位のスパarsityに一般化可能か？
• RQ5 既存手法と比較して、ImageNet などの大規模データセット上での本手法の性能はいかがなものか？

主な発見

• 提案されたホモトピー攻撃は、最先端手法と比較して、CIFAR-10で平均ℓ₀ノルムを42.91%低減し、ImageNet（標的アタック）では75.03%低減したが、100%のアタック成功率を維持した。
• ImageNetでは、ℓ∞制約が類似する条件下で、ℓ₀ノルムの平均値が2,889にまで低下した。これは、nmAPGの13,582およびPure-Homotopyの16,343を大きく下回る。
• 本手法はCIFAR-10で6.88%のグループスパarsity、ImageNetで2.05%のグループスパarsityを達成し、最小限のパーカッションで高い構造的スパarsityを示した。
• SAPF や StrAttack よりも著しく高速で、ImageNetでは516.57秒の処理時間であった。これはStrAttackの2,242.78秒を大きく上回る。
• 可視化結果から、グループ単位のスパarsityは、クラスアクティベーションマップ（CAM）により確認された識別的オブジェクト領域にパーカッションが集中していることが示された。
• オプションのアフターアタックステップは、局所最適解からの脱出に効果的であり、特に高スパarsity領域においてスパarsityとロバストネスの向上が見られた。