[論文レビュー] Defense Against Adversarial Attacks with Saak Transform

Sibo Song, Yueru Chen+2 more|arXiv (Cornell University)|Aug 6, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用数 21

ひとこと要約

本論文は、画像を共同空間周波数表現に変換し、高周波成分をフィルタリングすることで adversarial パーティクルを除去し、分類の前に画像を再構築する Saak 変換を用いた軽量で微分不能な防御手法を提案する。この手法は、 adversarial 訓練やモデル変更を必要とせず、CIFAR-10 および ImageNet で最先端のロバスト精度を達成した。

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial perturbations, which imposes a serious threat to DNN-based decision systems. In this paper, we propose to apply the lossy Saak transform to adversarially perturbed images as a preprocessing tool to defend against adversarial attacks. Saak transform is a recently-proposed state-of-the-art for computing the spatial-spectral representations of input images. Empirically, we observe that outputs of the Saak transform are very discriminative in differentiating adversarial examples from clean ones. Therefore, we propose a Saak transform based preprocessing method with three steps: 1) transforming an input image to a joint spatial-spectral representation via the forward Saak transform, 2) apply filtering to its high-frequency components, and, 3) reconstructing the image via the inverse Saak transform. The processed image is found to be robust against adversarial perturbations. We conduct extensive experiments to investigate various settings of the Saak transform and filtering functions. Without harming the decision performance on clean images, our method outperforms state-of-the-art adversarial defense methods by a substantial margin on both the CIFAR-10 and ImageNet datasets. Importantly, our results suggest that adversarial perturbations can be effectively and efficiently defended using state-of-the-art frequency analysis.

研究の動機と目的

• 深層ニューラルネットワークが高信頼度で騙される adversarial パーティクルの脆弱性に対処すること。
• 効率的で微分不能であり、adversarial 訓練やラベル情報も不要な防御メカニズムを開発すること。
• Saak 変換による周波数ドメイン解析が、adversarial ノイズを効果的に識別・フィルタリング可能かどうかを検証すること。
• 複数のデータセットおよび攻撃タイプにおいて、スケーリング、クリッピング、截断の異なるフィルタリング戦略のロバストネスへの影響を評価すること。

提案手法

• 入力画像に前方 Saak 変換を適用し、共同空間周波数表現を生成する。
• Saak 変換表現の高周波成分を、係数スケーリング、クリッピング、截断の3つの戦略のいずれかでフィルタリングする。
• 逆 Saak 変換を用いて画像を再構築し、分類器の入力として前処理された入力を得る。
• 最も顕著なスペクトル成分を保持することで、係数截断を最適なフィルタリング戦略とする。
• モデルアーキテクチャを変更せずに、既存の DNN に軽量で微分不能なフロントエンドとして Saak ベースの前処理を統合する。
• 空間ノイズ除去手法（例：メディアンスムージング）と Saak 防御を段階的に組み合わせることで、$CW_0$ 攻撃のような困難な攻撃に対するロバストネスをさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 Saak 変換は、空間周波数表現に基づいて adversarial 画像とクリーン画像を効果的に区別できるか？
• RQ2 Saak ドメインで高周波成分をフィルタリングすることで、adversarial パーティクルの影響を低減しつつ、クリーン画像の精度を劣化させないか？
• RQ3 スケーリング、クリッピング、截断の異なるフィルタリング戦略は、adversarial ロバストネスとクリーン精度の観点でどのように比較できるか？
• RQ4 adversarial ベースの防御を他の前処理技術と組み合わせることで、$CW_0$ のような強力な攻撃に対するロバストネスをさらに向上できるか？
• RQ5 CIFAR-10 および ImageNet における多様な攻撃タイプに対して、Saak 変換ベースの防御は最先端の防御と比較してどのようにロバストネスを発揮するか？

主な発見

• Saak 変換ベースの防御は、CIFAR-10 で全攻撃に対して平均 78.67% のロバスト精度を達成し、先行手法を顕著に上回った。
• ImageNet データセットでは、全攻撃に対して 62.67% のロバスト精度を達成し、比較した全防御手法を上回った。
• 截断フィルタリング戦略がスケーリングおよびクリッピングを上回り、全評価設定で最高のロバスト精度を達成した。
• 良性入力に対しては最小限の劣化で、クリーン画像精度を高い水準で維持した（CIFAR-10 で 90%、メディアンスムージングを組み合わせた場合の ImageNet で 86%）。
• Saak 防御とメディアンスムージングを組み合わせることで、ImageNet における $CW_0$ 攻撃のロバストネスが 62.67% から 66.33% に向上し、空間ノイズ除去と相乗効果を示した。
• FGSM、BIM、DeepFool、および $CW$-ノルム変種を含む多様な攻撃タイプに対して有効であり、特に $CW_2$ および $CW_i$ に対して顕著な性能を発揮した。