[论文解读] A Study of Face Obfuscation in ImageNet

Kaiyu Yang, Jacqueline Yau+3 more|arXiv (Cornell University)|Mar 10, 2021

Face recognition and analysis参考文献 78被引用 66

一句话总结

本文在 ImageNet 中标注人脸，并显示人脸模糊/覆盖等隐私保护措施对分类准确性和迁移学习性能只有微小影响。它建立了一个隐私增强的 ImageNet 变体，并分析了类别与特征迁移效应。

ABSTRACT

Face obfuscation (blurring, mosaicing, etc.) has been shown to be effective for privacy protection; nevertheless, object recognition research typically assumes access to complete, unobfuscated images. In this paper, we explore the effects of face obfuscation on the popular ImageNet challenge visual recognition benchmark. Most categories in the ImageNet challenge are not people categories; however, many incidental people appear in the images, and their privacy is a concern. We first annotate faces in the dataset. Then we demonstrate that face obfuscation has minimal impact on the accuracy of recognition models. Concretely, we benchmark multiple deep neural networks on obfuscated images and observe that the overall recognition accuracy drops only slightly (<= 1.0%). Further, we experiment with transfer learning to 4 downstream tasks (object recognition, scene recognition, face attribute classification, and object detection) and show that features learned on obfuscated images are equally transferable. Our work demonstrates the feasibility of privacy-aware visual recognition, improves the highly-used ImageNet challenge benchmark, and suggests an important path for future visual datasets. Data and code are available at https://github.com/princetonvisualai/imagenet-face-obfuscation.

研究动机与目标

• 通过研究 ImageNet (ILSVRC) 中广泛存在的人脸，激发对公共视觉数据集的隐私关注。
• 在 ILSVRC 中标注人脸，以实现模糊处理与隐私保护基准测试。
• 量化人脸模糊对 ImageNet 分类与迁移学习的影响。
• 评估在模糊数据上学习的特征是否能迁移到下游任务。
• 提供数据集与方法学，促进隐私感知的视觉识别研究。

提出的方法

• 开发一个两阶段的人脸标注流程，结合自动检测（Amazon Rekognition）与众包润色（Mechanical Turk）。
• 使用模糊和覆盖等技术创建 ILSVRC 的人脸被遮挡版本。
• 在原始图像和被遮挡图像上，对多种深度网络在 Top-1 和 Top-5 准确率上进行基准测试。
• 通过在原始/被遮挡图像上进行预训练，然后在四个下游任务（CIFAR-10、SUN、PASCAL VOC、CelebA）上微调，评估迁移学习。
• 分析按类别的鲁棒性，并使用 Grad-CAM 获得定位洞见。
• 提供用于隐私感知 ImageNet 研究的数据和代码。

实验结果

研究问题

• RQ1 在人脸被遮挡的情况下，常见 CNN 架构下的 ImageNet 分类准确率有何变化？
• RQ2 在脸部被遮挡的 ImageNet 上进行预训练，是否仍能将迁移性能保持到对象、场景、检测和人脸属性任务？
• RQ3 哪些类别对人脸遮挡最敏感，物体-人脸的重叠如何影响性能下降？
• RQ4 隐私保护的遮挡是否可以被整合到大规模视觉基准测试中，而不显著损害实用性？

主要发现

• 人脸模糊仅导致很小的准确率下降：Top-1 和 Top-5 的下降通常在 0.1%–1.0% 之间，具体取决于方法与模型。
• 在 1000 个 ImageNet 类别中，模糊和覆盖两种方式导致的整体平均准确率下降都不到 1%。
• 在面部被遮挡的图像上预训练，在对象识别（CIFAR-10）、场景识别（SUN）、目标检测（PASCAL VOC）和人脸属性分类（CelebA）等任务上的迁移性能，与在原始图像上预训练的表现相当。
• 与人脸重叠的类别（例如 mask、harmonica）在遮挡下的下降更大，模糊人脸比例与准确率下降之间存在相关性（top-5 r≈0.46, p≈2.69e-49）。
• Grad-CAM 分析表明，被遮挡的图像会降低模型对目标物体的关注，从而解释了一些类别特定的下降。
• 在遮挡下，视觉上相似类别（如 eskimo dog 与 siberian husky）之间的差异变化，在评估 top-5 精度或平均精度时基本得到缓解。