[论文解读] Adversarial Images for Variational Autoencoders

Pedro Tabacof, Julia Tavares+1 more|arXiv (Cornell University)|Dec 1, 2016

Adversarial Robustness in Machine Learning参考文献 19被引用 62

一句话总结

本文提出了一种针对变分自编码器和确定性自编码器的新型对抗性攻击方法，通过操纵潜在表示，使输入图像发生畸变，从而强制模型重建完全不同的目标图像。研究揭示了输入畸变与目标重建相似性之间近乎线性的权衡关系，表明自编码器在面对此类攻击时显著比分类器更鲁棒，尽管在去除非线性输出归一化后，两者在内部敏感性上均表现出成比例的特性。

ABSTRACT

We investigate adversarial attacks for autoencoders. We propose a procedure that distorts the input image to mislead the autoencoder in reconstructing a completely different target image. We attack the internal latent representations, attempting to make the adversarial input produce an internal representation as similar as possible as the target's. We find that autoencoders are much more robust to the attack than classifiers: while some examples have tolerably small input distortion, and reasonable similarity to the target image, there is a quasi-linear trade-off between those aims. We report results on MNIST and SVHN datasets, and also test regular deterministic autoencoders, reaching similar conclusions in all cases. Finally, we show that the usual adversarial attack for classifiers, while being much easier, also presents a direct proportion between distortion on the input, and misdirection on the output. That proportionality however is hidden by the normalization of the output, which maps a linear layer into non-linear probabilities.

研究动机与目标

• 开发并评估一种专门针对自编码器的对抗性攻击策略，这些自编码器的训练目标是重建输入而非进行分类。
• 研究变分自编码器和确定性自编码器在面对迫使模型重建不同目标图像的对抗性扰动时的鲁棒性。
• 比较自编码器与分类器在对抗性攻击下的行为表现，特别是输入畸变与输出误导性之间的权衡关系。
• 分析分类器攻击中看似非线性的原因是否源于输出归一化，通过分析logit空间来探究。

提出的方法

• 该攻击针对自编码器的内部潜在表示，通过优化输入扰动，使编码器的输出匹配目标图像的潜在码。
• 该方法使用损失函数，最小化自编码器重建输出与目标图像之间的距离，同时约束扰动在L2范数下较小。
• 在MNIST和SVHN数据集上评估该攻击，使用变分自编码器（VAEs）和确定性自编码器（AEs），通过调整正则化常数来探索权衡关系。
• 作为对比，对分类器应用标准的FGSM风格攻击，并将输出从概率转换为logits，以评估其内在线性特性。
• 通过在不同正则化参数下进行多次运行，量化输入畸变与输出相似性之间的权衡关系。
• 分析包括对抗性样本的视觉检查，以及畸变与重建相似性关系的绘图，以识别饱和点。

实验结果

研究问题

• RQ1 能否设计出对抗性扰动，迫使自编码器重建完全不同的目标图像，而非导致误分类？
• RQ2 自编码器在对抗性攻击下的鲁棒性与深度神经网络分类器相比如何？
• RQ3 分类器攻击中看似非线性的成功曲线是否源于非线性Softmax输出层？还是模型内部表示中存在潜在的线性敏感性？
• RQ4 自编码器中输入畸变与重建误导性之间的权衡关系本质是什么？
• RQ5 在分类器的logit空间中，扰动与输出之间的线性关系是否与自编码器中保持一致，提示存在共同的底层机制？

主要发现

• 自编码器在输入畸变与目标图像重建相似性之间表现出近乎线性的权衡关系，表明要实现显著的误导性，必须施加成比例的较大畸变。
• 尽管存在困难，自编码器的对抗性攻击仍可在仅中等输入扰动下实现较高的目标重建相似性，尤其是在正则化较低时。
• 对分类器的攻击在概率空间中表现出非线性成功曲线，但当使用logits时，这种非线性消失，揭示出与自编码器中相似的潜在线性敏感性。
• 输入畸变与输出误导性之间的比例关系在自编码器和分类器中均为内在特性，但分类器中非线性输出归一化放大了微小变化，使得攻击更有效。
• 结果表明，深度模型的线性本质是其易受对抗性攻击的根本原因，而自编码器由于缺乏此类非线性输出变换，因而更具鲁棒性。
• 本研究证实，自编码器在面对对抗性攻击时显著比分类器更具抵抗力，尽管两者在其内部表示中均表现出成比例的敏感性。