[論文レビュー] Robustness and Transferability of Universal Attacks on Compressed Models

Alberto G. Matachana, Kenneth T. Co+3 more|arXiv (Cornell University)|Dec 10, 2020

Adversarial Robustness in Machine Learning参考文献 49被引用数 7

ひとこと要約

本論文は、普遍的 adversarial perturbations (UAPs) の堅牢性および転送可能性に、一般的なモデル圧縮技術である pruning と quantization がどのように影響するかを調査する。Soft Filter Pruning は、特徴空間を変化させることで UAP 転送攻撃に対する堅牢性を向上させるが、quantization は勾配マスキングを引き起こす可能性があり、誤った安心感を生じさせる。圧縮モデルとフル精度モデル間の転送可能性は限定的であり、特に異なる pruning 方法間で顕著である。これは、エッジデプロイメントにおいて圧縮を防御戦略として活用できることを示唆している。

ABSTRACT

Neural network compression methods like pruning and quantization are very effective at efficiently deploying Deep Neural Networks (DNNs) on edge devices. However, DNNs remain vulnerable to adversarial examples-inconspicuous inputs that are specifically designed to fool these models. In particular, Universal Adversarial Perturbations (UAPs), are a powerful class of adversarial attacks which create adversarial perturbations that can generalize across a large set of inputs. In this work, we analyze the effect of various compression techniques to UAP attacks, including different forms of pruning and quantization. We test the robustness of compressed models to white-box and transfer attacks, comparing them with their uncompressed counterparts on CIFAR-10 and SVHN datasets. Our evaluations reveal clear differences between pruning methods, including Soft Filter and Post-training Pruning. We observe that UAP transfer attacks between pruned and full models are limited, suggesting that the systemic vulnerabilities across these models are different. This finding has practical implications as using different compression techniques can blunt the effectiveness of black-box transfer attacks. We show that, in some scenarios, quantization can produce gradient-masking, giving a false sense of security. Finally, our results suggest that conclusions about the robustness of compressed models to UAP attacks is application dependent, observing different phenomena in the two datasets used in our experiments.

研究の動機と目的

• pruning と quantization が、UAP に対して圧縮された DNN の堅牢性にどのように影響するかを評価すること。
• 圧縮モデルとそれらのフル精度版との間で、UAP の転送可能性を調査すること。
• 圧縮技術が、エッジ AI システムにおけるブラックボックス UAP 攻撃に対する防御メカニズムとして機能するかどうかを評価すること。
• CIFAR-10 や SVHN といったデータセットを用いて、Soft Filter Pruning や Post-Training Pruning、quantization などの異なる圧縮手法の性能と堅牢性を比較すること。
• UAP に対する堅牢性が、データセットに依存するかどうか、またはアプリケーションに依存するかどうかを特定すること。

提案手法

• CIFAR-10 および SVHN で訓練された圧縮モデルを用い、白ボックスおよび転送攻撃設定で UAP の堅牢性を実験的に評価する。
• Soft Filter Pruning (SFP)、Post-Training Pruning (PP)、および quantization (Q) といった複数の圧縮手法を適用し、フル精度モデルと比較する。
• PGD などの反復的最適化手法を用いて、非ターゲットおよびターゲット攻撃に適した UAP を生成する。
• あるモデルで UAP を生成し、他のモデル（圧縮・非圧縮の両方を含む）でテストすることで、転送可能性を評価する。
• pruned モデルにおける UAP 堅牢性に与える影響を評価するため、訓練中に mixup や cutout といった正則化手法を用いる。
• SFP モデルとフルモデルの間の特徴空間の違いを分析し、観察された転送可能性の差異を説明する。

実験結果

リサーチクエスチョン

• RQ1 pruning と quantization を用いたモデル圧縮は、DNN の普遍的 adversarial perturbations (UAPs) に対する堅牢性にどのように影響するか？
• RQ2 UAP は、圧縮モデルとそれらのフル精度版の間でどの程度転送可能か？
• RQ3 Soft Filter Pruning などの異なる pruning 策略は、UAP の転送可能性を低減させ、結果としてセキュリティを向上させ得るか？
• RQ4 quantization は本質的な堅牢性を提供するのか、それとも単に勾配マスキングを引き起こし、誤った安心感を生じさせるのか？
• RQ5 データセット固有のデータ分布は、圧縮モデルの UAP 攻撃に対する堅牢性にどのように影響するか？

主な発見

• Soft Filter Pruning (SFP) は、学習された特徴の構造的変化により、モデル間での UAP 転送可能性を顕著に低減する。
• Post-Training Pruning (PP) とフルモデル間の UAP 転送は限定的であり、元のモデルと同一のシステム的脆弱性を保持していないことが示唆される。
• quantization は勾配マスキングを引き起こす可能性があり、誤った堅牢性の印象を与える。これは、悪意のある例に対して高い精度を示す一方で、新しい攻撃への一般化能力が低いことから裏付けられる。
• CIFAR-10 では、SFP に mixup と cutout 正則化を組み合わせることで、ターゲット UAP に対する堅牢性が向上するが、SVHN では同様の手法が堅牢性を低下させる。これはデータセット依存性を示している。
• 圧縮手法による UAP 堅牢性の向上効果は、データセットによって一貫しない。これは、堅牢性の結果がアプリケーションやデータに強く依存することを示している。
• SFP を用いたモデルの圧縮により、UAP の転送可能性は顕著に低減される。これは、異なる手法を用いた複数の圧縮バージョンをデプロイすることで、ブラックボックス UAP 攻撃の脅威を緩和できる可能性を示唆している。