[论文解读] DeepPrivacy2: Towards Realistic Full-Body Anonymization

Håkon Hukkelås, Frank Lindseth|arXiv (Cornell University)|Nov 17, 2022

Face recognition and analysis被引用 7

一句话总结

DeepPrivacy2 提出了一种基于 GAN 的新颖框架，实现逼真、全身范围的匿名化，通过利用一个全新的 150 万张图像数据集（FDH）和多模态检测技术，超越了仅针对人脸的匿名化，显著提升了图像质量和隐私保护水平。该框架通过结合 CSE 引导、无条件和人脸特异性 GAN 的三流匿名化流水线，实现了当前最优的性能，并支持通过文本引导实现潜在空间语义的可编辑性。

ABSTRACT

Generative Adversarial Networks (GANs) are widely adapted for anonymization of human figures. However, current state-of-the-art limit anonymization to the task of face anonymization. In this paper, we propose a novel anonymization framework (DeepPrivacy2) for realistic anonymization of human figures and faces. We introduce a new large and diverse dataset for human figure synthesis, which significantly improves image quality and diversity of generated images. Furthermore, we propose a style-based GAN that produces high quality, diverse and editable anonymizations. We demonstrate that our full-body anonymization framework provides stronger privacy guarantees than previously proposed methods.

研究动机与目标

• 解决当前仅针对人脸的匿名化方法存在的局限性，这些方法会使主要和次要标识（如耳朵、步态、性别）暴露在外。
• 通过引入一个包含 150 万张人类图像的大规模、多样化数据集（FDH），提升全身匿名化图像的质量和多样性。
• 通过结合多种检测模态（如 CSE、Mask R-CNN、DSFD）来克服密集姿态估计（CSE）失败的问题，实现更鲁棒和完整的全身检测与匿名化。
• 通过一种基于风格的 GAN 实现可编辑、高质量的匿名化，支持在潜在空间中通过文本引导对属性（如性别或发色）进行操作。
• 通过匿名化整个身体并保留上下文真实感，提供强于传统模糊化或仅人脸匿名化方法的隐私保护保证。

提出的方法

• 该框架采用三种不同的基于 GAN 的匿名化器：一种用于 CSE 检测到的个体，一种用于 CSE 无法检测的个体，以及一种用于剩余人脸的匿名化。
• 构建了一个新的大规模数据集——Flickr Diverse Humans (FDH)，其源自 YFCC100M，经过置信度阈值、分辨率、灰度检测、基于 NIMA 的质量评分、CSE 顶点数量以及 Mask R-CNN 与 CSE 分割结果之间的 IoU 筛选。
• CSE 引导的生成器利用基于 SMPL 的人体模型中的像素到顶点对应关系，通过密集表面嵌入引导匿名化过程。
• 无条件全身生成器采用标准 GAN 训练技术，无需姿态引导即可合成多样化、高质量的人体图像。
• 人脸匿名化器在更新后的 FDF256 数据集上进行训练，且不依赖姿态引导，从而可在检测困难的场景中实现匿名化。
• 基于风格的生成器支持在 GAN 潜在空间中进行全局、语义上有意义的编辑，可实现对性别、发色等属性的文本引导操作。

实验结果

研究问题

• RQ1 与现有数据集相比，大规模、多样化数据集是否能显著提升生成的全身匿名化图像的视觉质量和多样性？
• RQ2 结合多种检测模态（CSE、Mask R-CNN、DSFD）是否能提升匿名化任务中人体检测的鲁棒性和完整性？
• RQ3 基于 GAN 的匿名化框架是否能在全身匿名化任务中实现比以往最先进方法更高的图像质量与更强的隐私保护？
• RQ4 所提出的 GAN 潜在空间在多大程度上支持对匿名化身份进行有意义的、文本引导的编辑？
• RQ5 在 Market1501 等真实世界基准测试中，该框架在重识别任务中的表现如何？

主要发现

• 包含 150 万张图像的 FDH 数据集，显著提升了生成匿名化人体图像的视觉质量和多样性，优于以往数据集。
• 多流匿名化流水线在定性和定量评估中均优于以往最先进方法，实现了更优的图像质量与更强的隐私保护。
• 即使在 CSE 无法检测到个体的情况下，该框架仍能通过利用其他检测模态和无条件生成器成功实现匿名化。
• 基于风格的 GAN 支持通过潜在空间中全局、语义上有意义的方向，对匿名化身份进行文本引导编辑，例如改变性别或发色。
• 在 Market1501 基准测试中，匿名化图像表现出极高的重识别失败率，证明了其强大的隐私保护能力。
• 通过提升分割和检测的精确度，该框架减少了以往全身 GAN 中常见的视觉伪影，如未分割的配饰或‘穿戴’头发与配饰的现象。