[論文レビュー] Rethinking the Backward Propagation for Adversarial Transferability

Xiaosen Wang, Kangheng Tong+1 more|arXiv (Cornell University)|Jun 22, 2023

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

この論文は非線形層からの勾配の切り捨てが敵対的サンプルの転移性を妨げることを示し、Backward Propagation Attack (BPA) を提案してこれを緩和します。ReLU に対して SiLU ベースの勾配を、max-pooling に対してソフトマックスベースの勾配を用いることで転移性を改善し、モデル間および攻撃間での転移性を向上させます。

ABSTRACT

Transfer-based attacks generate adversarial examples on the surrogate model, which can mislead other black-box models without access, making it promising to attack real-world applications. Recently, several works have been proposed to boost adversarial transferability, in which the surrogate model is usually overlooked. In this work, we identify that non-linear layers (e.g., ReLU, max-pooling, etc.) truncate the gradient during backward propagation, making the gradient w.r.t. input image imprecise to the loss function. We hypothesize and empirically validate that such truncation undermines the transferability of adversarial examples. Based on these findings, we propose a novel method called Backward Propagation Attack (BPA) to increase the relevance between the gradient w.r.t. input image and loss function so as to generate adversarial examples with higher transferability. Specifically, BPA adopts a non-monotonic function as the derivative of ReLU and incorporates softmax with temperature to smooth the derivative of max-pooling, thereby mitigating the information loss during the backward propagation of gradients. Empirical results on the ImageNet dataset demonstrate that not only does our method substantially boost the adversarial transferability, but it is also general to existing transfer-based attacks. Code is available at https://github.com/Trustworthy-AI-Group/RPA.

研究の動機と目的

• バックワード伝搬中に非線形層が勾配を切り捨て、敵対的サンプルの転移性を低下させる仕組みを特定する。
• 勾配情報を保存するために BPA を提案し、モデル間の転移性を改善する。
• ImageNet 上で Untargeted および Targeted 攻撃に対する BPA の有効性をデモンストレーションする。

提案手法

• Backpropagation 中に ReLU と max-pooling による勾配切り捨てが損失入力の関連性を抑制することを示す。
• 切り捨てを緩和するために BPA を提案：a) ReLU の逆伝播計算に SiLU の微分を用いる；b) 最大プーリングの微分を温度付きソフトマックスで計算する。
• 修正勾配の式化：ReLU 勾配を SiLU ベースの微分 ∂zi+1/∂zi = σ(zi) · (1 + zi · (1 − σ(zi))) に置換；最大プーリングの勾配は各ウィンドウ内でのソフトマックスにより計算 ∂zk+1/∂zk = exp(t · zk,i,j) / sum_{υ∈w} exp(t · υ)（温度 t）
• ImageNet 上で複数の代替モデルと被害モデルに対して広範な実験で BPA を検証。
• BPA をベースラインの SGM、LinBP、Ghost と比較し、Untargeted および Targeted のシナリオで攻撃の転移性を向上させることを示す。

実験結果

リサーチクエスチョン

• RQ1 非線形層からの勾配切り捨てはモデル間の敵対的転移性を低下させるか。
• RQ2 勾配情報を保存するようにバックワード伝搬を修正することで、敵対的サンプルの転移性は改善されるか。
• RQ3 ImageNet における Untargeted および Targeted 攻撃と防御に対して BPA はどの程度機能するか。

主な発見

Attacker	Inc-v3	IncRes-v2	DenseNet	MobileNet	PNASNet	SENet	Inc-v3ens3	Inc-v3ens4	IncRes-v2ens
PGD	N/A	16.34	13.38	36.86	36.12	13.46	17.14	10.24	9.46	5.52
SGM	23.68	19.82	51.66	55.44	22.12	30.34	13.78	12.38	7.90
LinBP	27.22	23.04	59.34	59.74	22.68	33.72	16.24	13.58	7.88
Ghost	17.74	13.68	42.36	41.06	13.92	19.10	11.60	10.34	6.04
BPA	35.36	30.12	70.70	68.90	32.52	42.02	22.72	19.28	12.40
MI-FGSM	N/A	26.20	21.50	51.50	49.68	22.92	30.12	16.22	14.58	9.00
SGM	33.78	28.84	63.06	65.84	31.90	41.54	19.56	17.48	10.98
LinBP	35.92	29.82	68.66	69.72	30.24	41.68	19.98	16.58	9.94
Ghost	29.76	23.68	57.28	56.10	25.00	34.76	17.10	14.76	9.50
BPA	47.58	41.22	80.54	79.40	44.70	54.28	32.06	25.98	17.46
ILA	N/A	29.10	26.08	58.02	59.10	27.60	39.16	15.12	12.30
SGM	35.64	32.34	65.20	71.22	34.20	46.72	17.10	13.86	9.08
LinBP	37.36	34.24	71.98	72.84	35.12	48.80	19.38	14.10	9.28
Ghost	30.06	26.50	60.52	61.74	28.68	40.46	14.84	12.54	7.90
BPA	47.62	43.50	81.74	80.88	47.88	60.64	27.94	20.64	14.76
SSA	N/A	35.78	29.58	60.46	64.70	25.66	34.18	20.64	17.30
SGM	45.22	38.98	70.22	78.44	35.30	46.06	26.28	21.64	14.50
LinBP	48.48	41.90	75.02	78.30	36.66	49.58	28.76	23.64	15.46
Ghost	36.44	28.62	61.12	66.80	24.90	33.98	20.58	16.84	10.82
BPA	51.36	44.70	76.24	79.66	39.38	50.00	32.10	26.44	18.20

• BPA は ImageNet の九つの被害モデルに対してベースラインより一貫して転移性を向上させる。
• Untargeted 攻撃（PGD、MI-FGSM、VMI-FGSM、ILA、SSA）全体で、BPA は既存のモデル関連手法より顕著な利得を示す。
• BPA はロジット損失を最適化する場合、Targeted 攻撃でも全ベースラインを上回り転移性を高める。
• 最後の ReLU 層を修正する Ablation で転移性が大幅に向上し、ReLU と max-pooling の修正を組み合わせると最良の結果となる。
• BPA は HGD、R&P、NIPS-r3、JPEG、RS、NRP などの防御に対する攻撃の頑健性を高める。