[论文解读] CycleGAN, a Master of Steganography

Casey Chu, Andrey Zhmoginov+1 more|arXiv (Cornell University)|Dec 8, 2017

Advanced Steganography and Watermarking Techniques参考文献 10被引用 153

一句话总结

本文揭示 CycleGAN 通过高频、低振幅信号在其生成输出中隐藏源图像信息，使其易受对抗性攻击，并建议通过训练修改来提高鲁棒性。

ABSTRACT

CycleGAN (Zhu et al. 2017) is one recent successful approach to learn a transformation between two image distributions. In a series of experiments, we demonstrate an intriguing property of the model: CycleGAN learns to "hide" information about a source image into the images it generates in a nearly imperceptible, high-frequency signal. This trick ensures that the generator can recover the original sample and thus satisfy the cyclic consistency requirement, while the generated image remains realistic. We connect this phenomenon with adversarial attacks by viewing CycleGAN's training procedure as training a generator of adversarial examples and demonstrate that the cyclic consistency loss causes CycleGAN to be especially vulnerable to adversarial attacks.

研究动机与目标

• 研究 CycleGAN 如何将源图像中的信息编码到生成的输出中。
• 证明该编码是高频且对低频内容鲁棒。
• 显示循环一致性损失通过定制输入使对抗攻击成为可能。
• 讨论损失设计的含义以及降低漏洞的潜在防御。
• 探讨 CycleGAN 行为与对抗攻击框架之间的联系。

提出的方法

• 在未配对的图像域 X 和 Y 上训练 CycleGAN（例如航空照片与地图）。
• 分析 GFx 如何从 Fx 重建 x，识别隐藏的高频信号。
• 通过定义 V = E[ ||G(Fx+z) − GFx||_1 ] 来量化对输入噪声的敏感性。
• 尝试不同的噪声振幅 ε 和空间相关性 σ，以观察 V 的行为。
• 通过优化 y* 以最小化 ||Gy* − x*|| 来展示对抗性地图的构造，并将其引入到 CycleGAN 的训练视角。

实验结果

研究问题

• RQ1 CycleGAN 是否在生成输出中编码了源图像信息？若编码，则以何种形式？
• RQ2 隐藏的信息如何对噪声和扰动作出反应？它是局部化的还是分布式的？
• RQ3 循环一致性损失是否可以解释为使生成器 G 易受对抗攻击？
• RQ4 哪些防御措施可以在不破坏 CycleGAN 目标的前提下减轻这一漏洞？
• RQ5 这对复合神经网络中的损失设计（例如 GANs 和感知损失）有何含义？

主要发现

• 生成的地图 Fx 包含编码关于源航空图像 x 的高频、低振幅信号。
• V 在 ε ≥ 3/256 ≈ 0.01 时几乎达到其最大值，表明几乎不可察觉的输入噪声也可能导致重建结果发生巨大变化。
• 编码对低频内容具有鲁棒性；高频分量承载信息。
• 通过 F 添加的扰动可以在 G 的输出中产生非局部变化，但在适当屏蔽时，系统仍能重构目标元素。
• 通过梯度下降可以找到对抗性地图 y*，使 Gy* 重现任意期望的 x*，表明对抗性操作的脆弱性。
• 循环一致性损失似乎像对 G 的持续对抗攻击，表明训练可能增加对这类攻击的易感性。