[论文解读] A Hybrid Model for Identity Obfuscation by Face Replacement

Qianru Sun, Ayush Tewari+4 more|arXiv (Cornell University)|Apr 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 6

一句话总结

本文提出了一种混合身份混淆方法，结合参数化人脸建模与基于生成对抗网络（GAN）的图像合成技术，将图像中的人脸替换为不同身份的面部，同时保持面部表情和姿态不变。该方法实现了最先进性能，将机器识别率降低至18.1%，同时保持较高的图像真实感（HPS为0.33），在隐私保护与视觉质量方面显著优于先前方法。

ABSTRACT

As more and more personal photos are shared and tagged in social media, avoiding privacy risks such as unintended recognition becomes increasingly challenging. We propose a new hybrid approach to obfuscate identities in photos by head replacement. Our approach combines state of the art parametric face synthesis with latest advances in Generative Adversarial Networks (GAN) for data-driven image synthesis. On the one hand, the parametric part of our method gives us control over the facial parameters and allows for explicit manipulation of the identity. On the other hand, the data-driven aspects allow for adding fine details and overall realism as well as seamless blending into the scene context. In our experiments, we show highly realistic output of our system that improves over the previous state of the art in obfuscation rate while preserving a higher similarity to the original image content.

研究动机与目标

• 应对社交媒体上个人照片广泛传播带来的日益严峻的隐私威胁。
• 克服现有混淆技术的局限性，如不自然的伪影、真实感差或控制性不足。
• 开发一种方法，既能有效隐藏身份以逃避机器识别系统与人类观察者的识别，又能保持照片级真实感。
• 结合参数化人脸模型的可控性与数据驱动GAN的真实感，以提升混淆效果。

提出的方法

• 该方法使用参数化3D人脸模型，基于原始人物的表情与姿态重建并渲染出新身份的面部。
• 将原始人脸区域替换为来自不同身份的渲染面部，通过参数调节保留面部属性。
• 训练一个条件GAN，以渲染面部和混淆后的上下文作为输入，对完整头部区域（包括头发和细节）进行图像修复与合成。
• GAN阶段添加照片级真实感细节，并确保与场景上下文无缝融合，减少可见伪影。
• 该方法端到端训练，GAN学习根据全局场景上下文对渲染面部进行优化。
• 通过HPS（感知图像质量）以及机器与人类识别者的识别率等指标对系统进行评估。

实验结果

研究问题

• RQ1 结合参数化人脸建模与基于GAN的合成的混合方法，是否能比纯粹的数据驱动方法或模型驱动方法实现更优的身份混淆效果？
• RQ2 显式身份控制与数据驱动真实感的结合，如何影响隐私保护与图像质量之间的平衡？
• RQ3 对面部与头发区域的修改在多大程度上影响识别率与视觉真实感？
• RQ4 该方法能否同时有效混淆机器识别系统与人类观察者？
• RQ5 在不同输入模态（如模糊化、遮挡、原始图像）下，图像质量与混淆效果之间的最优权衡是什么？

主要发现

• 所提方法在测试集上的机器识别率为18.1%，显著低于先前最先进方法。
• 该方法保持了较高的图像质量，HPS得分为0.33，远优于先前最先进方法在相似隐私约束下的0.15 HPS得分。
• 使用与目标人物相距较远的个体（Replacer15）进行面部替换，使人类识别性能下降25.1%，表明该方法在身份混淆上更有效。
• 模糊化头发区域使识别率降至25.8%，表明头发及周围头部区域携带显著的身份信息。
• 该方法在混淆效果与视觉真实感方面均优于基线模型，最佳权衡出现在“遮挡面部与头发 + Replacer15”配置下。
• 散点图分析表明，用户可根据期望的隐私阈值与质量约束，选择最优配置。