Skip to main content
QUICK REVIEW

[論文レビュー] Structure-Preserving Transformation: Generating Diverse and Transferable Adversarial Examples

Dan Peng, Zizhan Zheng|arXiv (Cornell University)|Sep 8, 2018
Adversarial Robustness in Machine Learning参考文献 28被引用数 4
ひとこと要約

本稿では、画像内の構造的パターンを保持しつつ、色や明るさに目立つ変更を許容することで、自然で多様性に富み、高い転送性を持つ adversarial examples を生成する構造的保存変換(SPT)を提案する。従来の方法が ℓp 範囲に制限された摂動に依存するのに対し、SPT は人間の知覚的類似性を保証するための意味的構造を維持することで、防御モデルや異なるアーキテクチャに対しても高い攻撃成功率を達成する。

ABSTRACT

Adversarial examples are perturbed inputs designed to fool machine learning models. Most recent works on adversarial examples for image classification focus on directly modifying pixels with minor perturbations. A common requirement in all these works is that the malicious perturbations should be small enough (measured by an L_p norm for some p) so that they are imperceptible to humans. However, small perturbations can be unnecessarily restrictive and limit the diversity of adversarial examples generated. Further, an L_p norm based distance metric ignores important structure patterns hidden in images that are important to human perception. Consequently, even the minor perturbation introduced in recent works often makes the adversarial examples less natural to humans. More importantly, they often do not transfer well and are therefore less effective when attacking black-box models especially for those protected by a defense mechanism. In this paper, we propose a structure-preserving transformation (SPT) for generating natural and diverse adversarial examples with extremely high transferability. The key idea of our approach is to allow perceptible deviation in adversarial examples while keeping structure patterns that are central to a human classifier. Empirical results on the MNIST and the fashion-MNIST datasets show that adversarial examples generated by our approach can easily bypass strong adversarial training. Further, they transfer well to other target models with no loss or little loss of successful attack rate.

研究の動機と目的

  • 小さな摂動に基づく adversarial attack の限界に対処すること。これには、不自然で多様性が低く、転送性に劣る例が生じる。
  • ℓp 範囲に依存するアプローチを克服すること。これには、知覚的に重要な構造的パターンを無視し、分布シフトに対して脆弱性を増す要因がある。
  • 訓練データとは異なるデータ分布に従う adversarial examples を生成することで、ブラックボックス攻撃の成功率を向上させること。
  • 最小の歪みではなく、構造的不変性を活用することで、adversarial training の防御を効果的に回避すること。
  • 深層ニューラルネットワークの一般化および脆弱性における構造的パターンの役割を調査すること。

提案手法

  • SPT は、一様な摂動ではなく、局所的な構造的パターンに基づいて画素値を変更する、学習可能な構造に敏感な変換を適用する。
  • 人間の認識に重要な形状や轮廓の特徴を保持しつつ、明るさや色を変更する。
  • 各入力画像の構造的内容に適応するため、学習可能な重みでパrameter化された変換が用いられる。
  • ℓp 範囲の制約を回避することで、意味的類似性を保ちつつ目立つ変更を許容する。
  • 分類誤りを最適化する一方で、微分可能損失を用いて構造の保存を強制することで adversarial examples を生成する。
  • 本手法は MNIST および fashion-MNIST で評価され、標準的および adversarially trained モデルを標的とする攻撃が実施された。

実験結果

リサーチクエスチョン

  • RQ1小さな ℓp 摂動に依存せずに、知覚的に自然で多様性に富んだ adversarial examples を生成できるか?
  • RQ2画像内の構造的パターンを保存することで、異なるモデルや防御機構間での転送性が向上するか?
  • RQ3色や明るさが著しく異なる adversarial examples でさえ、DNN が誤分類されるか?
  • RQ4なぜ従来の ℓp ベースの攻撃は、防御済みモデルへの転送にうまくいかないのか?
  • RQ5DNN は、分布外の画像を分類する際に、画素の分布に依存しているのか、それとも構造的パターンに依存しているのか?

主な発見

  • SPT が生成した adversarial examples は、標準的および adversarially trained モデル(PGD ベースの防御を含む)でほぼ 100% の攻撃成功率を達成した。
  • 異なるアーキテクチャ間でも攻撃が効果的に転送され、特に強力な防御機構を備えたターゲットモデルに対しても成功率の低下が最小限に抑えられた。
  • SPT が生成する adversarial examples は、構造を保持しつつ、明るさや色が異なるため、多様性に富んでいた。
  • SPT の成功は、訓練データとは異なるデータ分布からの例を生成できる能力に起因し、現在の防御が想定する i.i.d. の仮定をくつがえすものであった。
  • DNN が SPT の例を誤分類するのは形状の違いではなく、画素値の分布シフトに起因することが示され、統計的パターンに依存していることが示唆された。
  • 特にグレースケール画像において、従来の GAN ベースおよび色空間変換手法に比べ、多様性と転送性の両面で優れた性能を発揮した。

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。