[论文解读] Hijack-GAN: Unintended-Use of Pretrained, Black-Box GANs

Hui‐Po Wang, Ning Yu+1 more|arXiv (Cornell University)|Nov 28, 2020

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 7

一句话总结

本文提出Hijack-GAN，一种黑箱框架，可在不访问模型参数的情况下，对预训练的生成对抗网络（如StyleGAN和PGGAN）实现高层级控制，尽管其潜在空间高度非线性。通过迭代优化潜在码并施加正交约束，该方法实现了平滑且属性特定的图像操作（例如面部属性、头部姿态、关键点），并展示了GAN被无意但有效重用于多样化视觉任务的潜力。

ABSTRACT

While Generative Adversarial Networks (GANs) show increasing performance and the level of realism is becoming indistinguishable from natural images, this also comes with high demands on data and computation. We show that state-of-the-art GAN models -- such as they are being publicly released by researchers and industry -- can be used for a range of applications beyond unconditional image generation. We achieve this by an iterative scheme that also allows gaining control over the image generation process despite the highly non-linear latent spaces of the latest GAN models. We demonstrate that this opens up the possibility to re-use state-of-the-art, difficult to train, pre-trained GANs with a high level of control even if only black-box access is granted. Our work also raises concerns and awareness that the use cases of a published GAN model may well reach beyond the creators' intention, which needs to be taken into account before a full public release. Code is available at https://github.com/hui-po-wang/hijackgan.

研究动机与目标

• 仅通过黑箱访问预训练的生成对抗网络，实现高层级、可控的图像生成，无需访问模型参数。
• 通过引入迭代优化方案，解决线性操作方法在非线性潜在空间中的局限性。
• 通过一种新颖的正交约束，实现精确的属性特定编辑，同时最小化对非目标属性的影响。
• 展示GAN被无意但有效重用于原始设计之外的任务（如头部姿态与关键点操作）的潜力。
• 提高对无意模型使用风险的认识，并强调在公开发布GAN模型前需保持谨慎。

提出的方法

• 训练一个代理模型，近似生成器的行为，而无需对GAN进行反向传播，从而实现在潜在空间中的无梯度优化。
• 使用迭代优化方案遍历非线性潜在空间，根据估计的梯度动态调整潜在码更新的方向。
• 应用正交约束（公式4），确保编辑仅影响目标属性，同时最小化对其他属性的影响。
• 利用预训练的任务模型（如HopeNet、MTCNN）作为黑箱分类器，引导优化过程朝向期望的图像属性。
• 使用估计的梯度（基于雅可比矩阵）近似生成器的局部行为，从而实现在潜在空间中的稳定且平滑的过渡。
• 将优化条件扩展至多个属性和姿态，以实现对复杂潜在空间（尤其纠缠空间）的细粒度控制。

实验结果

研究问题

• RQ1 仅通过黑箱访问，预训练的生成对抗网络能否被有效重用于非预期的视觉任务？
• RQ2 在StyleGAN等现代生成对抗网络的高度非线性潜在空间中，如何实现高层级控制？
• RQ3 在不干扰无关属性的前提下，属性特定编辑能达到何种程度？
• RQ4 与线性、非迭代方法相比，迭代优化在属性过渡的准确性和平滑性方面表现如何？
• RQ5 在预训练生成对抗网络的潜在空间中，属性之间（如微笑与嘴角关键点）存在何种可度量的纠缠？

主要发现

• 所提出的迭代框架在潜在空间较长距离上的近似误差低于线性基线方法（如InterfaceGAN）。
• 正交约束显著提升了属性特异性，相比先前方法更好地保持了非目标属性。
• 在排除低置信度样本后，微笑属性操作的准确性更高，表明其对标注质量的敏感性。
• 通过使用小步长0.01，在1000步内成功实现绕偏航和俯仰轴的头部姿态平滑插值。
• 属性之间存在可度量的纠缠：嘴角关键点与微笑的余弦相似度为0.296，而鼻部关键点与偏航的相似度为0.5014。
• 尽管缺乏模型参数，该框架仍能有效编辑如面部关键点等局部、细粒度属性，证明了GAN被无意重用的可行性。