[論文レビュー] Shield: Fast, Practical Defense and Vaccination for Deep Learning using JPEG Compression

Nilaksh Das, Madhuri Shanbhogue+6 more|arXiv (Cornell University)|Feb 19, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用数 48

ひとこと要約

Shield は JPEG 圧縮とワクチン接種および確率的局所量子化を用いて敵対的画像攻撃に対抗し、ImageNet でモデル変更なしに高い頑健性と高速な実行時間を達成します。

ABSTRACT

The rapidly growing body of research in adversarial machine learning has demonstrated that deep neural networks (DNNs) are highly vulnerable to adversarially generated images. This underscores the urgent need for practical defense that can be readily deployed to combat attacks in real-time. Observing that many attack strategies aim to perturb image pixels in ways that are visually imperceptible, we place JPEG compression at the core of our proposed Shield defense framework, utilizing its capability to effectively "compress away" such pixel manipulation. To immunize a DNN model from artifacts introduced by compression, Shield "vaccinates" a model by re-training it with compressed images, where different compression levels are applied to generate multiple vaccinated models that are ultimately used together in an ensemble defense. On top of that, Shield adds an additional layer of protection by employing randomization at test time that compresses different regions of an image using random compression levels, making it harder for an adversary to estimate the transformation performed. This novel combination of vaccination, ensembling, and randomization makes Shield a fortified multi-pronged protection. We conducted extensive, large-scale experiments using the ImageNet dataset, and show that our approaches eliminate up to 94% of black-box attacks and 98% of gray-box attacks delivered by the recent, strongest attacks, such as Carlini-Wagner's L2 and DeepFool. Our approaches are fast and work without requiring knowledge about the model.

研究の動機と目的

• 実時間設定での敵対的攻撃に対する実用的防御の必要性を動機づける。
• 歪みを除去するための JPEG に中心を置く圧縮ベースの防御を提案する。
• 圧縮アーティファクトに対する頑健性を高めるために、ワクチネーションとアンサンブルを導入する。
• 防御の推定を妨げるために確率的量子化を取り入れる。
• 広範な実験を通じて ImageNet 上のスケーラビリティと速度を示す。

提案手法

• 歪みを除去しつつ良性精度を保持するための前処理防御として JPEG 圧縮を適用する。
• compressed 画像上で再訓練することで圧縮アーティファクトに対する頑健性を向上させる。
• Stochastic Local Quantization (SLQ): 推論時にブロックごとに JPEG 品質をランダムに割り当てる。
• 異なる JPEG 品質で訓練されたワクチネーション済みモデルをアンサンブルして防御の頑健性を向上させる。
• ResNet-v2 50 を用いた ImageNet 上で強力な攻撃（CW-L2、DeepFool、I-FGSM、FGSM）に対して評価する。
• 精度と速度の点で denoising ベースライン（Median Filter、TVD）と比較する。

実験結果

リサーチクエスチョン

• RQ1 JPEG ベースの前処理は、さまざまな攻撃タイプにおいて対敵摂動を中和するのにどれくらい効果的か。
• RQ2 ワクチネーション（圧縮画像での訓練）は、圧縮および攻撃への頑健性を向上させるか。
• RQ3 確率的ブロック単位量子化（SLQ）とモデルのアンサンブルは、単一量子化アプローチよりも強くて高速な防御を生み出すか。
• RQ4 防御の有効性と良性画像の精度のトレードオフはどうなるか、そして Shield は既存のデ denoising 手法と比較してどうか。

主な発見

Defense	CW-L2	DF	I-FGSM	FGSM
No Attack	75.59	10.29	9.78	7.49	18.40
Shield [20, 40, 60, 80]	72.11	71.85	71.88	65.63	59.29
JPEG [quality=100]	74.95	74.37	74.41	52.52	44.00
JPEG [quality=90]	74.83	74.43	74.36	55.18	45.12
JPEG [quality=80]	74.23	73.92	73.88	57.86	46.66
JPEG [quality=70]	73.61	73.11	73.17	59.53	47.96
JPEG [quality=60]	72.97	72.46	72.52	60.74	49.33
JPEG [quality=50]	72.32	71.86	71.91	61.47	50.53
JPEG [quality=40]	71.48	71.03	71.05	62.14	51.81
JPEG [quality=30]	70.08	69.63	69.67	62.52	53.51
JPEG [quality=20]	67.72	67.32	67.34	62.43	55.81
MF [window=3]	71.05	70.44	70.42	60.09	51.06
MF [window=5]	58.48	58.19	58.06	53.59	49.71
TVD [weight=10]	69.14	68.69	68.74	62.40	53.56
TVD [weight=20]	71.87	71.44	71.45	61.90	50.26
TVD [weight=30]	72.82	72.34	72.37	60.70	48.18
TVD [weight=40]	73.31	72.90	72.91	59.60	47.07

• 強力な攻撃（CW-L2、DeepFool）に対してブラックボックス攻撃を最大約94%、グレイボックス攻撃を最大約98%排除する。
• JPEG ベースの前処理のみでさまざまな攻撃に対してかなりの精度を回復でき、Shield は特に大きな摂動下で結果をさらに改善する。
• ワクチネーションとアンサンブル戦略は、より高い精度／計算バランスを提供し、より大きなアンサンブルと同等またはそれ以上を低コストで実現する。
• SLQ によりブロックごとの品質をランダム化することで、攻撃者が変換を推定するのを難しくし、頑健性を高める。
• JPEG ベースの防御は代替手法よりはるかに高速である（JPEG 約107秒/5万画像； TVD と MF は遅い）。
• Shield は良性画像の精度を競争力のあるレベルで維持しつつ、敵対的に劣化した精度の回復率を高める。