[论文解读] Adversarial Attacks on Variational Autoencoders

George Gondim-Ribeiro, Pedro Tabacof+1 more|arXiv (Cornell University)|Jun 12, 2018

Adversarial Robustness in Machine Learning参考文献 24被引用 20

一句话总结

本文提出了一种针对变分自编码器（VAEs）的新型对抗性攻击框架，引入AUDDC指标以定量评估攻击成功率，同时规避主观评价。结果表明，在MNIST、SVHN和CelebA数据集上，带有注意力机制的循环VAE（DRAW）相比全连接和卷积VAE表现出显著更高的抗攻击能力，且循环结构与注意力机制均对这种鲁棒性有重要贡献。

ABSTRACT

Adversarial attacks are malicious inputs that derail machine-learning models. We propose a scheme to attack autoencoders, as well as a quantitative evaluation framework that correlates well with the qualitative assessment of the attacks. We assess --- with statistically validated experiments --- the resistance to attacks of three variational autoencoders (simple, convolutional, and DRAW) in three datasets (MNIST, SVHN, CelebA), showing that both DRAW's recurrence and attention mechanism lead to better resistance. As autoencoders are proposed for compressing data --- a scenario in which their safety is paramount --- we expect more attention will be given to adversarial attacks on them.

研究动机与目标

• 为解决当前对抗性攻击在自编码器上缺乏系统性评估框架的问题，因为自编码器在数据压缩中日益广泛应用，因而需要强有力的安 全保障。
• 开发一种定量、经统计验证的方法，用于评估自编码器上对抗性攻击的有效性，避免依赖主观或模糊的成功标准。
• 研究架构组件（尤其是循环结构与注意力机制）如何影响VAE对对抗性攻击的抵抗能力。
• 在受控、经统计验证的实验条件下，评估三种VAE变体（简单型、卷积型、DRAW）在三个多样化数据集（MNIST、SVHN、CelebA）上的鲁棒性。

提出的方法

• 提出一种定向对抗性攻击方案，通过操纵VAE的潜在表示或输出层，实现目标图像的重建，同时最小化输入的失真。
• 引入AUDDC（失真-失真曲线下的面积）指标，通过绘制输入失真与输出失真之间的曲线来计算曲线下方面积，以定量评估攻击性能。
• 采用基于正则化的优化框架，在输入失真与目标重建保真度之间取得平衡，通过调节正则化常数以找到中点攻击，用于可视化与定量分析。
• 使用单因素方差分析（ANOVA）结合事后检验（Tukey检验）对不同模型、数据集和攻击配置下的攻击性能差异进行统计验证。
• 将该攻击方法应用于三种VAE架构：全连接VAE、卷积VAE和DRAW（具有注意力机制的循环VAE），并在MNIST、SVHN和CelebA上进行评估。
• 通过失真-失真曲线图与图像并列对比图可视化结果，以定性评估攻击成功程度与模型抗性。

实验结果

研究问题

• RQ1 在缺乏明确成功标准的情况下，如何对自编码器的对抗性攻击进行系统性评估？
• RQ2 VAE中的架构组件（如循环结构与注意力机制）在多大程度上增强了其对对抗性攻击的抵抗能力？
• RQ3 在相同攻击条件下，模型鲁棒性在不同数据集（MNIST、SVHN、CelebA）上如何变化？
• RQ4 VAE的内在生成质量与其对对抗性操纵的抵抗能力之间是否存在相关性？
• RQ5 在针对定向对抗性攻击的脆弱性方面，不同VAE架构（全连接型、卷积型、DRAW）如何比较？

主要发现

• 在所有三个数据集上，带有注意力机制的循环VAE（DRAW）表现出显著高于全连接VAE和卷积VAE的抗攻击能力。
• 消融实验证实，DRAW中的循环结构与注意力机制均是其增强鲁棒性的关键因素。
• AUDDC指标与人类对攻击成功程度的定性感知具有强相关性，验证了其作为可靠定量评估工具的有效性。
• SVHN是三者中最易被攻击的数据集，而CelebA尽管更复杂，却表现出最强的抗性，表明数据集特性会影响攻击难度，而不仅由模型架构决定。
• 没有任何一次攻击能够在输入失真不可察觉的情况下成功重建目标图像，证实了攻击自编码器在本质上比攻击分类器更具挑战性。
• 统计分析（ANOVA结合事后Tukey检验）确认，在所有模型、数据集和攻击配置因素中，攻击性能存在显著差异（p < 0.015），验证了实验结果的稳健性。