[論文レビュー] Unrestricted Adversarial Examples via Semantic Manipulation

Anand Bhattad, Min Jin Chong+3 more|arXiv (Cornell University)|Apr 12, 2019

Adversarial Robustness in Machine Learning参考文献 46被引用数 72

ひとこと要約

この論文は unrestricted, semantically grounded adversarial attacks を導入し、色彩（cAdv）と質感（tAdv）を操作して ImageNet と MSCOCO 上でフォトリアルな敵対的サンプルを作成します。 defenses に対して効果的で、モデル間およびタスク間での転移性（キャプション生成を含む）を持ちます。

ABSTRACT

Machine learning models, especially deep neural networks (DNNs), have been shown to be vulnerable against adversarial examples which are carefully crafted samples with a small magnitude of the perturbation. Such adversarial perturbations are usually restricted by bounding their $\mathcal{L}_p$ norm such that they are imperceptible, and thus many current defenses can exploit this property to reduce their adversarial impact. In this paper, we instead introduce "unrestricted" perturbations that manipulate semantically meaningful image-based visual descriptors - color and texture - in order to generate effective and photorealistic adversarial examples. We show that these semantically aware perturbations are effective against JPEG compression, feature squeezing and adversarially trained model. We also show that the proposed methods can effectively be applied to both image classification and image captioning tasks on complex datasets such as ImageNet and MSCOCO. In addition, we conduct comprehensive user studies to show that our generated semantic adversarial examples are photorealistic to humans despite large magnitude perturbations when compared to other attacks.

研究の動機と目的

• 意味論的に meaningful かつフォトリアリスティックな unrestricted adversarial perturbations を動機づけ開発する。
• 強力な防御に対する色ベースおよび質感ベースの意味的攻撃の有効性を大規模データセットで示す。
• モデル間およびタスク間（画像分類とキャプション生成を含む）で意味的攻撃の転移性を示す。
• 攻撃の人間知覚リアリズムを検証するユーザ研究を提供する。
• モデル予測に最も影響を与える意味的特徴についての洞察を提供し、頑健性研究を導く。

提案手法

• 色彩化ベースの敵対的攻撃（cAdv）を開発し、ネットワーク重み・ヒント・マスクを介して色付け出力を敵対的に変化させ、標的誤分類を生み出す。
• クラスタリングされた色空間とエントロピーを用いて攻撃領域を制御し、あいましい領域に Perturbation を集中させる。
• VGG19 からのクロスレイヤーの Gram 行列を最適化してターゲット画像の質感を転送する質感転送攻撃（tAdv）を実装し、知覚的リアリズムを制約する。
• 芸術的歪みを避けつつ誤分類を促すために、質感損失とクロスエントロピー対称的 adversarial 目的を組み合わせる。
• nearest-neighbor 質感源選択を用いてリアリズムと転送性を高める。
• ImageNet および MSCOCO で白箱・転移シナリオを含む攻撃を評価し、JPEG 防御・特徴圧縮・敵対訓練に対しても検証する。

実験結果

リサーチクエスチョン

• RQ1 unrestricted かつ意味的に根ざした摂動（色と質感）が大規模分類器とキャプション生成モデルを信頼性高く誤らせるか。
• RQ2 cAdv と tAdv は ImageNet と MSCOCO で現実性・攻撃成功率・防御耐性においてどう比較されるか。
• RQ3 現実性・有効性・転移性に影響を与える要因（ヒント、クラスター、質感重み）は何か。
• RQ4 これらの意味的攻撃はアーキテクチャ間およびタスク間で転移するか（分類とキャプション生成）。
• RQ5 生成された敵対的サンプルはユーザ研究により人間にフォトリアリスティックと判断されるか。

主な発見

手法	Res50	JPEG75	特徴量圧縮	Res152	Adv Res152	ユーザー設定
Kurakin et al. (2016)	100	12.73	28.62	86.66	34.28	21.56
Carlini & Wagner (2017)	99.85	11.50	12.00	30.50	22.00	14.50
Xiao et al. (2018b)	100	17.61	22.51	29.26	28.71	23.51
cAdv 1	100	52.33	47.78	76.17	36.28	50.50
cAdv 2	99.89	46.61	42.78	72.56	34.28	46.45
cAdv 4	99.83	42.61	38.39	69.67	34.34	40.78
cAdv 8	99.81	38.22	36.62	67.06	31.67	37.67
tAdv 250 1	99.00	32.89	62.79	89.74	54.94	38.92
tAdv 250 3	100	36.33	67.68	94.11	58.92	42.82
tAdv 1000 1	99.88	31.49	52.69	90.52	51.24	34.85
tAdv 1000 3	100	35.23	61.40	93.18	56.31	39.66

• cAdv は、ResNet50・DenseNet121・VGG19 などのモデル間で高いターゲット攻撃成功率を達成し、大きく滑らかな色の変化を伴いながらもフォトリアリスティックさを保つ。
• tAdv はクロスレイヤーの質感転送によって白箱攻撃成功率と転移性を高く維持し、質感重みと反復設定を制御することでリアリズムを保つ。
• 両方の攻撃は JPEG 防御・特徴圧縮・敵対訓練による防御の頑健性を低下させ、モデル間で転移性を示す。
• 人間の知覚研究では、cAdv と tAdv の敵対的画像は大きな摂動にもかかわらず benign な画像と比較してフォトリアリズムが高い。
• 攻撃は画像キャプショニングへも拡張可能で、生成キャプションの特定の語を変更しても全体的な意味内容を変えずに済む。