[論文レビュー] Understanding and Enhancing the Transferability of Adversarial Examples

Lei Wu, Zhanxing Zhu+2 more|arXiv (Cornell University)|Feb 27, 2018

Adversarial Robustness in Machine Learning参考文献 24被引用数 95

ひとこと要約

本論文は、モデル特有の要因と損失表面の滑らかさが敵対的サンプルの転送性にどのように影響するかを分析し、モデル間およびアーキテクチャ間の転送性を高めるための分散削減勾配攻撃を提案する。

ABSTRACT

State-of-the-art deep neural networks are known to be vulnerable to adversarial examples, formed by applying small but malicious perturbations to the original inputs. Moreover, the perturbations can extit{transfer across models}: adversarial examples generated for a specific model will often mislead other unseen models. Consequently the adversary can leverage it to attack deployed systems without any query, which severely hinder the application of deep learning, especially in the areas where security is crucial. In this work, we systematically study how two classes of factors that might influence the transferability of adversarial examples. One is about model-specific factors, including network architecture, model capacity and test accuracy. The other is the local smoothness of loss function for constructing adversarial examples. Based on these understanding, a simple but effective strategy is proposed to enhance transferability. We call it variance-reduced attack, since it utilizes the variance-reduced gradient to generate adversarial example. The effectiveness is confirmed by a variety of experiments on both CIFAR-10 and ImageNet datasets.

研究の動機と目的

• ソースモデルのアーキテクチャ、テスト精度、および容量が敵対的転送性に与える影響を調査する。
• 損失関数の局所的な滑らかさが転送可能な摂動に与える影響を調べる。
• モデル間の転送性を改善するための分散削減攻撃を提案し、評価する。

提案手法

• ImageNet および他のデータセット上で、アーキテクチャ（ResNet、DenseNet、VGG）間の転送性を研究する。
• FGSM/IGSM 攻撃を用いて、転送性におけるモデル容量と精度の役割を分析する。
• 損失の畳み込み（ガウシアン平滑化）による損失の滑らか化を導入し、転送可能な勾配 G_sigma を導出する。
• 分散削減逐次勾配符号法（vr-IGSM）と分散削減FGSM（vr-FGSM）を定義・実装する。
• CIFAR-10 および ImageNet に対して、ホワイトボックス、ブラックボックス、およびアンサンブル設定で攻撃を評価する。

実験結果

リサーチクエスチョン

• RQ1 ソースモデルのアーキテクチャ、容量、および精度は、未見のターゲットモデルへの敵対的サンプルの転送性にどのように影響しますか？
• RQ2 損失表面の局所的な非滑らかさは転送性にどのように影響し、平滑化によって改善できますか？
• RQ3 分散削減（平滑化された）勾配攻撃は、アンサンブルおよびモーメンタムベースの手法を含む、モデル間の転送性を改善できますか？

主な発見

• 転送性はソースとターゲットモデル間で非対称であり、類似したアーキテクチャ間でより高くなる。
• 多段階攻撃は一般に転送性が高いが、アーキテクチャによって挙動は異なる。
• より高い精度と小さなモデル深さ（単に容量が大きいだけでない）は、転送性を強める傾向があり、深いモデルは時に転送性の低い敵対的例を生み出すことがある。
• 局所勾配の平均化（G_sigma）を用いた損失地形の滑らか化は、生の勾配（g_A）と比較して転送性を高める。
• 分散削減攻撃（vr-IGSM、vr-FGSM）は、単一モデルおよびアンサンブルベースの設定の転送性を大幅に改善し、ImageNet で顕著な向上を含む。
• 分散削減攻撃は、モーメンタムベースの手法やアンサンブルアプローチと組み合わせても効果を保つ。