[论文解读] Amplifying The Uncanny

Terence Broad, Frédéric Fol Leymarie+1 more|University of the Arts London Research Online (University of the Arts London)|Feb 17, 2020

Generative Adversarial Networks and Image Synthesis参考文献 6被引用 5

一句话总结

本文提出了一种新颖的方法，通过反转深度伪造生成过程来增强诡异谷效应：模型不再优化真实感，而是被训练为生成被判别器预测为'虚假'的图像，从而最大化感知上的怪异感。由此产生的图像——机器幻觉的产物，极度不真实却看似合理——构成了一个艺术系列，探讨人工性与感知之间的关系。

ABSTRACT

Deep neural networks have become remarkably good at producing realistic deepfakes, images of people that (to the untrained eye) are indistinguishable from real images. Deepfakes are produced by algorithms that learn to distinguish between real and fake images and are optimised to generate samples that the system deems realistic. This paper, and the resulting series of artworks Being Foiled explore the aesthetic outcome of inverting this process, instead optimising the system to generate images that it predicts as being fake. This maximises the unlikelihood of the data and in turn, amplifies the uncanny nature of these machine hallucinations.

研究动机与目标

• 研究反转深度伪造生成以强调人工性所带来的美学与感知后果。
• 探索对抗性模型如何被重新用于生成最不可能为真实的图像，从而放大诡异谷效应。
• 创建一种新的艺术方法论，利用机器学习模型并非追求真实感，而是追求刻意的感知错位。
• 通过系统性地反转生成目标，考察生成图像中真实感与人工性之间的边界。

提出的方法

• 训练一个生成对抗网络（GAN），其判别器被优化为将生成图像分类为'虚假'。
• 反转训练目标：不再最小化判别器对真实图像的损失，而是优化生成器以最大化判别器对虚假样本预测的置信度。
• 使用判别器的置信度得分作为损失函数，引导生成器产生最不可能为真的图像。
• 将此反转优化应用于潜在空间采样，生成系统上比标准 GAN 输出更不自然的图像。
• 通过判别器的反馈迭代优化生成器，以放大感知异常与失真。
• 通过视觉分析和艺术策展，在'Being Foiled'系列中验证美学效果。

实验结果

研究问题

• RQ1 当生成模型不再优化真实感，而是优化最大感知人工性时，会发生什么？
• RQ2 如何重新利用对抗性模型生成深陷诡异谷的图像？
• RQ3 通过最大化判别器对'虚假性'的预测，生成的图像中会涌现出哪些感知特征？
• RQ4 GAN 训练目标的反转能否产生以机器幻觉为基础的新艺术表达形式？
• RQ5 这些生成图像因细微失真而非明显异常而引发诡异感的程度有多大？

主要发现

• 反转训练过程成功生成了在感知上比标准 GAN 输出更不自然、更诡异的图像。
• 生成的图像表现出细微而系统性的失真，如面部特征不对称、不合逻辑的光照等，从而触发诡异谷效应。
• 判别器对这些图像被标记为'虚假'的置信度始终很高，证实了模型在识别人工性方面内部的一致性。
• 艺术系列'Being Foiled'表明，针对虚假性优化的机器生成图像能够引发强烈的情感与美学反应。
• 该方法揭示，诡异谷并非一个固定阈值，而是可以通过对抗性优化系统性放大的渐变区域。
• 该方法为探索合成媒体中感知与人工性边界的全新框架提供了支持。