[論文レビュー] BUZz: BUffer Zones for defending adversarial examples in image classification

Kaleel Mahmood, Phuong Ha Nguyen+3 more|arXiv (Cornell University)|Oct 3, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用数 4

ひとこと要約

この論文は、クラス間の領域に位置するバッファゾーン——入力がその領域に属する場合に悪意ある入力を特定する領域——を用いた、勾配に基づく敵対的攻撃に対する新しい防御手法BUZzを紹介する。深層ニューラルネットワークと単純な画像変換を組み合わせることで、CIFAR-10およびFashion-MNISTで攻撃成功率が11%未塔に抑えられ、クリーン精度の低下は11–18%にとどまり、セキュリティと精度のバランスを取る新しい指標を用いて、最先端の防御を上回る。

ABSTRACT

We propose a novel defense against all existing gradient based adversarial attacks on deep neural networks for image classification problems. Our defense is based on a combination of deep neural networks and simple image transformations. While straightforward in implementation, this defense yields a unique security property which we term buffer zones. We argue that our defense based on buffer zones offers significant improvements over state-of-the-art defenses. We are able to achieve this improvement even when the adversary has access to the {\em entire} original training data set and unlimited query access to the defense. We verify our claim through experimentation using Fashion-MNIST and CIFAR-10: We demonstrate $<11\%$ attack success rate -- significantly lower than what other well-known state-of-the-art defenses offer -- at only a price of a $11-18\%$ drop in clean accuracy. By using a new intuitive metric, we explain why this trade-off offers a significant improvement over prior work.

研究の動機と目的

• 微小で人間が感知できない摂動によって生成される敵対的例に対して、深層ニューラルネットワークが示す脆弱性に対処すること。
• 高いクリーン精度を維持しながら、敵対的攻撃の成功率を顕著に低下させる防御を構築すること。
• バッファゾーンという概念を用いて、セキュリティ（低い攻撃成功率）とクリーン精度の間のチューナブルなトレードオフを実現すること。
• 訓練データとクエリアクセスを完全に利用可能な強力なブラックボックス攻撃設定下で防御を評価すること。
• 防御の堅牢性とクリーン精度のバランスを定量的に捉える新しい指標δを提案すること。

提案手法

• 防御はバッファゾーン——意思決定境界の間の領域で、入力がその領域に属する場合に敵対的と分類される——を用いる。
• 入力を分類するために深層ニューラルネットワークを用い、サンプルがバッファゾーン内にあるかどうかを閾値ベースのメカニズムで検出する。
• 分類の前に入力に画像変換を適用することで、耐性を高め、自然なバッファゾーンを生成する。
• バッファゾーン機構により、敵対的攻撃に成功するための摂動の大きさが増加し、標準的なε制約下では攻撃が非現実的になる。
• セキュリティと精度のトレードオフを調整できるように、複数の構成（BUZz2、BUZz4、BUZz8）と閾値バリエーション（BT70、BT95、BT99）を用いて防御を実装する。
• 防御の性能を評価するための新しい指標δ = γ + (p − γ)αを導入し、クリーン精度の低下（γ）と攻撃成功率（α）を統合する。

実験結果

リサーチクエスチョン

• RQ1 既存の手法よりも顕著に低い敵対的攻撃成功率を達成しながら、高いクリーン精度を維持できる防御を設計できるか？
• RQ2 バッファゾーンの導入により、ブラックボックスの敵対的攻撃設定下で、堅牢性とクリーン精度の間のチューナブルなトレードオフが実現可能か？
• RQ3 攻撃者が無制限のクエリアクセスと訓練データへの完全なアクセスを持つ場合でも、提案された防御は有効に機能するか？
• RQ4 従来の評価指標と比較して、新しい指標δはセキュリティと精度の真のトレードオフをどれほど正確に捉えられるか？
• RQ5 深層ネットワークと組み合わせた画像変換は、バッファゾーンの形成を通じて、どれほど耐性を高めるか？

主な発見

• BUZzは、CIFAR-10およびFashion-MNISTの両方で、非標的ブラックボックス攻撃下で攻撃成功率が11%未塔に抑えられ、最先端の防御よりも顕著に低い。
• CIFAR-10ではクリーン精度が76–94%を維持しており、アンラベルモデルと比較して11–18%の低下にとどまる。
• BUZz2構成では、CIFAR-10における標的攻撃でδ = 0.16、非標的攻撃でδ = 0.22を達成し、比較対象のすべての防御を上回る。
• 閾値ベースのバリエーション（BT70、BT95、BT99）とマルチネットワーク構成（BUZz2、BUZz4、BUZz8）により、ユーザーがセキュリティと精度のトレードオフを効果的に調整可能である。
• 提案されたδ指標は、すべての構成において、既存の防御よりも優れた堅牢性とクリーン精度のトレードオフを示しており、低いδ値を達成している。
• C&WやEADなどの強力な混合ブラックボックス攻撃下でも、BUZzは高い耐性を示し、非標的設定では攻撃成功率が10%未塔に抑えられ、標的設定では防御が高精度にチューニングされていなければほぼ100%の攻撃成功率を示す。