[论文解读] Improving VAEs' Robustness to Adversarial Attack

Matthew Willetts, Alexander Camuto+3 more|arXiv (Cornell University)|Jun 1, 2019

Adversarial Robustness in Machine Learning参考文献 45被引用 6

一句话总结

本文提出了一种新颖的对抗性攻击防御方法，针对变分自编码器（VAEs）通过利用总相关性（TC）正则化来提升鲁棒性。通过将TC正则化应用于层次化VAEs——称为Seatbelt-VAEs——该方法在实现高保真重建的同时，显著增强了对潜在空间对抗性攻击的抵抗力，优于标准VAE和单层正则化VAE。

ABSTRACT

Variational autoencoders (VAEs) have recently been shown to be vulnerable to adversarial attacks, wherein they are fooled into reconstructing a chosen target image. However, how to defend against such attacks remains an open problem. We make significant advances in addressing this issue by introducing methods for producing adversarially robust VAEs. Namely, we first demonstrate that methods proposed to obtain disentangled latent representations produce VAEs that are more robust to these attacks. However, this robustness comes at the cost of reducing the quality of the reconstructions. We ameliorate this by applying disentangling methods to hierarchical VAEs. The resulting models produce high-fidelity autoencoders that are also adversarially robust. We confirm their capabilities on several different datasets and with current state-of-the-art VAE adversarial attacks, and also show that they increase the robustness of downstream tasks to attack.

研究动机与目标

• 解决标准VAE在潜在空间对抗性攻击下的脆弱性问题，即微小输入扰动会导致重建结果模仿目标图像。
• 探究是否通过解耦引导正则化器（尤其是总相关性TC）可提升VAE的对抗鲁棒性。
• 通过采用层次化架构，克服标准TC正则化VAE中常见的鲁棒性与重建质量之间的权衡。
• 证明VAE编码器的对抗鲁棒性可延伸至下游任务。
• 开发并验证一种新型模型架构——Seatbelt-VAE，结合层次化潜在空间与TC正则化，以实现性能与鲁棒性的双重提升。

提出的方法

• 在VAE训练过程中，将总相关性（TC）正则化应用于变分目标，以鼓励学习到解耦的、对输入扰动不敏感的随机潜在表示。
• 采用具有多层潜在变量的层次化VAE架构，其中每一层的后验和先验均通过具有递减维度的近端推理网络建模。
• 在层次化各层之间引入多级TC正则化方案，以增强鲁棒性，同时保持表征能力。
• 使用ADAM优化器，采用余弦衰减学习率和1024的批量大小进行训练，并应用自由比特（free bits）以稳定优化过程。
• 采用固定的解码器方差（σ = 0.1），并使用源自Chen等人（2018）的标准化卷积/转置卷积编码器-解码器架构。
• 通过潜在空间中的对抗攻击评估鲁棒性，以重建图像与目标图像的相似度以及在噪声输入下的似然度作为衡量指标。

实验结果

研究问题

• RQ1 VAE中的总相关性正则化是否能提升对潜在空间对抗性攻击的鲁棒性？
• RQ2 标准TC正则化VAE中重建质量与对抗鲁棒性之间的权衡是否限制了其实际部署？
• RQ3 具有TC正则化的层次化VAE能否同时实现高保真重建与强对抗鲁棒性？
• RQ4 VAE编码器中提升的鲁棒性是否能传递至下游任务，从而增强其对对抗输入的抵抗力？
• RQ5 与单层VAE相比，层次化结构在多大程度上增强了模型抵抗对抗扰动的能力？

主要发现

• 在标准VAE中应用TC正则化虽能提升对抗鲁棒性，但因潜在表示过度平滑化而显著降低重建质量。
• 采用TC正则化的层次化VAE——即Seatbelt-VAE——在鲁棒性方面优于标准VAE和单层TC正则化VAE。
• 在CelebA数据集上，具有L=4层的Seatbelt-VAE在强扰动下仍能成功抵抗对抗攻击，保持对原始输入（如Hugh Jackman）的重建。
• 当β > 1时，Seatbelt-VAE在噪声输入下的原始输入似然度显著更高，表明其在不同噪声尺度下均表现出更强的鲁棒性。
• Seatbelt-VAE在实现更高鲁棒性的同时，仍能保持或提升重建保真度，成功解决了典型的质量-鲁棒性权衡问题。
• VAE编码器中提升的对抗鲁棒性可有效传递至下游任务，显著增强其对对抗输入的抵抗能力。