[論文レビュー] Patch-wise++ Perturbation for Adversarial Targeted Attacks

Lianli Gao, Qilong Zhang+2 more|arXiv (Cornell University)|Dec 31, 2020

Adversarial Robustness in Machine Learning参考文献 52被引用数 7

ひとこと要約

本稿では、領域別ノイズ増幅と温度制御プロジェクトカーネルを用いて、ターゲット攻撃の転送性を向上させる勾配ベースの敵対的攻撃手法Patch-wise++ (PIM++)を提案する。最先端手法と比較して、防御モデルでは33.1%、通常訓練モデルでは31.4%の成功確率向上を達成し、同時に白ボックス性能はほぼ完璧を維持している。

ABSTRACT

Although great progress has been made on adversarial attacks for deep neural networks (DNNs), their transferability is still unsatisfactory, especially for targeted attacks. There are two problems behind that have been long overlooked: 1) the conventional setting of $T$ iterations with the step size of $ε/T$ to comply with the $ε$-constraint. In this case, most of the pixels are allowed to add very small noise, much less than $ε$; and 2) usually manipulating pixel-wise noise. However, features of a pixel extracted by DNNs are influenced by its surrounding regions, and different DNNs generally focus on different discriminative regions in recognition. To tackle these issues, our previous work proposes a patch-wise iterative method (PIM) aimed at crafting adversarial examples with high transferability. Specifically, we introduce an amplification factor to the step size in each iteration, and one pixel's overall gradient overflowing the $ε$-constraint is properly assigned to its surrounding regions by a project kernel. But targeted attacks aim to push the adversarial examples into the territory of a specific class, and the amplification factor may lead to underfitting. Thus, we introduce the temperature and propose a patch-wise++ iterative method (PIM++) to further improve transferability without significantly sacrificing the performance of the white-box attack. Our method can be generally integrated to any gradient-based attack methods. Compared with the current state-of-the-art attack methods, we significantly improve the success rate by 33.1\% for defense models and 31.4\% for normally trained models on average.

研究の動機と目的

• ブラックボックス設定におけるターゲット敵対的攻撃の転送性が限定的である問題に取り組むこと。特に、防御モデルに対して有効であるか。
• 異なるDNN間で特徴的な領域と一致しない従来のピクセル単位の摂動の限界を克服すること。
• 攻撃の白ボックス成功確率が、過剰なノイズ増幅によって損なわれるのを防ぎつつ、転送性を向上させること。
• 既存の勾配ベース攻撃手法と互換性を持つ汎用的なフレームワークを開発すること。
• 局所的に均一なノイズと温度スケーリングが、DNNの内在的分類論理をより効果的に活用できるかを調査すること。

提案手法

• ε境界を超える勾配をプロジェクトカーネルを介して周囲の領域に割り当てることで、領域単位の摂動を実現するパッチワイズ反復手法（PIM）を導入する。
• 段階的なステップサイズの増幅因子を適用し、摂動の大きさと特徴的な領域へのカバー範囲を向上させる。
• 勾配の流れを制御する温度ハイパーパrameterを組み込み、増幅によるターゲット攻撃のアンダーフィットを緩和する。
• 直接クリッピングを行うのではなく、ヒューリスティックなプロジェクト戦略を用いて勾配オーバーフローを再配分し、有用な勾配情報を保持する。
• ピクセルの勾配を周囲の近隣領域に分散させるプロジェクトカーネルを採用し、摂動の空間的整合性を向上させる。
• FGSMおよびその変種など既存の手法にPIM++メカニズムを統合することで、任意の勾配ベース攻撃に一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位のノイズと比較して、領域別（パッチワイズ）摂動はターゲット敵対的例の転送性を向上させ得るか？
• RQ2 反復的なステップサイズの増幅が、転送性および白ボックス攻撃性能に与える影響は何か？
• RQ3 温度スケーリングは、攻撃の増幅によるアンダーフィットを効果的に緩和できるか？
• RQ4 標準的なクリッピングと比較して、プロジェクトカーネルは勾配情報損失をどの程度低減できるか？
• RQ5 特に敵対的訓練モデルに対して、PIM++は最先端の攻撃手法と比較してどの程度優れているか？

主な発見

• PIM++はブラックボックスモデルで平均68.1%のターゲット攻撃成功確率を達成し、DTMPo-FGSMを31.4%上回った。
• 敵対的訓練モデル（EAT）では、DTPI-FGSM++が53.4%の成功確率を示し、DTMPo-FGSMを33.1%上回った。
• ホールドアウトモデルがRes-101の場合、DTPI-FGSM++とDTMPo-FGSMの性能差は33.9%に達した。
• 白ボックス設定では、PIM++のすべてのバージョンがアンサンブルモデルでほぼ100%の成功確率を達成し、DI-FGSMやDTMPo-FGSM（90%未満）を上回った。
• 白ボックス性能（AoEで93%以上）を強く維持しながら、ブラックボックスの転送性を顕著に向上させた。これは、モデルのシフトに対しても頑健であることを示している。
• プロジェクトカーネルと温度メカニズムが併用されることで、勾配損失が低減され、グローバル最適領域への収束が向上し、結果として転送性が向上した。