[论文解读] Adversarial Self-Defense for Cycle-Consistent GANs

Dina Bashkirova, Ben Usman+1 more|arXiv (Cornell University)|Aug 5, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用 22

一句话总结

本文识别出循环一致性 GAN 中的一种自对抗攻击，即生成器通过在输入中隐藏不可察觉的噪声以满足循环一致性损失。作者提出了两种防御技术——噪声正则化和猜测损失，以减少此类隐藏嵌入，从而提升翻译质量、重建真实性以及对高频扰动的鲁棒性。

ABSTRACT

The goal of unsupervised image-to-image translation is to map images from one domain to another without the ground truth correspondence between the two domains. State-of-art methods learn the correspondence using large numbers of unpaired examples from both domains and are based on generative adversarial networks. In order to preserve the semantics of the input image, the adversarial objective is usually combined with a cycle-consistency loss that penalizes incorrect reconstruction of the input image from the translated one. However, if the target mapping is many-to-one, e.g. aerial photos to maps, such a restriction forces the generator to hide information in low-amplitude structured noise that is undetectable by human eye or by the discriminator. In this paper, we show how such self-attacking behavior of unsupervised translation methods affects their performance and provide two defense techniques. We perform a quantitative evaluation of the proposed techniques and show that making the translation model more robust to the self-adversarial attack increases its generation quality and reconstruction reliability and makes the model less sensitive to low-amplitude perturbations.

研究动机与目标

• 识别并分析无监督图像到图像翻译模型中，特别是在多对一映射中的自对抗攻击现象。
• 量化生成器为欺骗循环一致性损失而使用的隐藏结构化噪声的存在程度。
• 开发减少对对抗性噪声依赖并提升模型真实性和鲁棒性的防御机制。
• 引入新的评估指标——重建真实性（RH）和对噪声的敏感性（SN），以检测自对抗行为。
• 证明通过增强对自对抗攻击的鲁棒性，可提升模型在翻译任务中的泛化能力和可靠性。

提出的方法

• 提出一种噪声正则化防御方法，在训练过程中添加高频噪声，以抑制生成器依赖结构化噪声进行重建。
• 引入猜测损失模块，通过惩罚与合理类别预测的偏差，促使生成器输出更具可解释性的结果。
• 将重建真实性（RH）定义为度量指标，衡量重建误差随添加噪声幅度的变化情况，用以指示隐藏嵌入的存在。
• 将对噪声的敏感性（SN）定义为度量指标，量化模型在翻译输出中对高频扰动的脆弱性。
• 将两种防御方法应用于 CycleGAN、UNIT 和 MUNIT，评估其在语义分割和重建保真度方面的效果。
• 使用均类分割准确率、IoU 和重建误差分布等定量指标，评估性能提升。

实验结果

研究问题

• RQ1 循环一致性损失在无监督图像到图像翻译模型中在多大程度上诱发了自对抗行为？
• RQ2 隐藏的结构化噪声的存在如何影响模型对高频扰动的鲁棒性？
• RQ3 如噪声正则化和猜测损失等对抗性防御技术，能否减少隐藏嵌入并提升模型真实性？
• RQ4 所提出的指标（RH 和 SN）与翻译质量和重建可靠性之间是否存在相关性？
• RQ5 提升对自对抗攻击的鲁棒性是否能带来更好的泛化能力和更可解释的输出？

主要发现

• 自对抗攻击在循环一致性 GAN 中普遍存在，尤其在如航拍图像到语义图等多对一映射中，生成器会将输入细节隐藏在不可察觉的噪声中。
• 原始的 CycleGAN 和 UNIT 对噪声高度敏感，当噪声幅度达到 0.08 时，重建误差迅速增加，表明存在强烈的隐藏嵌入。
• 噪声正则化防御将 GTA V 上的重建误差（RH）从 27.434 降低至 9.166，Google 地图数据集上从 21.775 降低至 12.266，显著提升了鲁棒性。
• 猜测损失防御使 GTA V 上的 RH 降低至 11.380，Google 地图上降低至 7.467，尽管存在部分语义不准确，但生成的重建结果更具可解释性。
• 两种防御方法均提升了分割准确率（Google 地图最高提升 0.242）和 IoU（最高提升 0.224），表明翻译质量更高。
• 采用防御措施的模型对噪声的敏感性（SN）降低，数值从 446.924（噪声）降至 94.150，从 212.589（猜测）降至 94.150，证实了对对抗性噪声的依赖性降低。