[论文解读] Does Image Anonymization Impact Computer Vision Training?

Håkon Hukkelås, Frank Lindseth|arXiv (Cornell University)|Jun 8, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文研究了传统与真实感图像匿名化对计算机视觉模型训练的影响，基于BDD100K、Cityscapes和COCO数据集上的面部及全身匿名化方法。研究发现，真实感匿名化在保留模型性能方面显著优于传统模糊处理，尤其在与面部相关的任务中表现更优；而即使采用真实感方法，全身匿名化仍会导致明显的性能下降。

ABSTRACT

Image anonymization is widely adapted in practice to comply with privacy regulations in many regions. However, anonymization often degrades the quality of the data, reducing its utility for computer vision development. In this paper, we investigate the impact of image anonymization for training computer vision models on key computer vision tasks (detection, instance segmentation, and pose estimation). Specifically, we benchmark the recognition drop on common detection datasets, where we evaluate both traditional and realistic anonymization for faces and full bodies. Our comprehensive experiments reflect that traditional image anonymization substantially impacts final model performance, particularly when anonymizing the full body. Furthermore, we find that realistic anonymization can mitigate this decrease in performance, where our experiments reflect a minimal performance drop for face anonymization. Our study demonstrates that realistic anonymization can enable privacy-preserving computer vision development with minimal performance degradation across a range of important computer vision benchmarks.

研究动机与目标

• 评估传统与真实感图像匿名化对目标检测、实例分割和姿态估计等关键计算机视觉任务性能的影响。
• 探究使用生成模型合成身份的真实感匿名化方法，是否能比传统混淆方法（如模糊处理、遮罩）更好地保留数据可用性。
• 评估全身匿名化的影响，该方法常用于隐私保护，但在模型训练场景中研究尚不充分。
• 确定真实感匿名化是否能在最小化性能损失的前提下，实现隐私保护的计算机视觉开发。

提出的方法

• 使用传统方法（模糊处理、遮罩）和基于DeepPrivacy2生成模型的真实感匿名化方法，对公开的计算机视觉数据集（BDD100K、Cityscapes、COCO）进行匿名化处理。
• 在匿名化训练数据上，使用ResNet和R-CNN架构训练目标检测、实例分割和关键点检测模型。
• 在原始未匿名化验证集上评估模型性能，以衡量识别准确率的下降程度。
• 使用自动检测器（DSFD用于面部检测，ViTPose用于关键点检测）识别并匿名化个体，尽管这可能引入标注歧义。
• 应用直方图均衡化以减少合成身份与全局图像背景之间的视觉不一致。
• 重点关注面部和全身的匿名化处理，特别关注上下文一致性与分辨率限制。

Figure 3 : DeepPrivacy2 [ 23 ] anonymizes one instance at a time, then paste each synthesized individual into the original image. For our experiments, detection is not performed, as segmentation masks are defined from pre-defined annotations (see Sec. 3.1 ). Note that the generator relies on keypoin

实验结果

研究问题

• RQ1 真实感匿名化是否比传统匿名化方法（如模糊处理或遮罩）更好地保留计算机视觉模型的性能？
• RQ2 全身匿名化对目标检测、实例分割和姿态估计等任务的模型性能有何影响？
• RQ3 在面部出现频率不同的数据集中，面部匿名化对模型性能的退化程度如何？
• RQ4 真实感匿名化是否能缓解性能退化，同时在自动驾驶数据集中保持隐私保护？

主要发现

• 在COCO数据集中，使用模糊处理进行传统面部匿名化导致关键点检测模型性能显著下降，该数据集中的面部更为常见。
• 真实感面部匿名化将关键点检测模型的性能下降降至极低水平，证明其优于传统方法。
• 通过传统模糊处理进行全身匿名化在所有评估数据集中严重损害了模型性能，尤其在目标检测和实例分割任务中。
• 与传统方法相比，真实感全身匿名化显著缓解了性能退化，尽管其改善程度不及面部匿名化。
• 检测'骑手'和'自行车'类别的性能下降可能源于检测框重叠，而非匿名化本身，因为其他车辆类别未受影响。
• 当前用于匿名化的生成模型在上下文对齐和分辨率匹配方面仍存在困难，当身体较小或定位不佳时，会产生不自然的结果。

Original