[论文解读] Learning to Anonymize Faces for Privacy Preserving Action Detection

Zhongzheng Ren, Yong Jae Lee+1 more|arXiv (Cornell University)|Mar 30, 2018

Face recognition and analysis参考文献 55被引用 13

一句话总结

本文提出了一种基于生成对抗网络（GAN）的对抗性框架，可在保护动作识别性能的同时对视频中的人脸进行匿名化处理。通过训练视频匿名化器，使其在对抗判别器的梯度上升过程中最小化人脸识别准确率，该方法在对下游动作识别任务影响最小的情况下实现了有效的隐私保护。

ABSTRACT

There is an increasing concern in computer vision devices invading users' privacy by recording unwanted videos. On the one hand, we want the camera systems to recognize important events and assist human daily lives by understanding its videos, but on the other hand we want to ensure that they do not intrude people's privacy. In this paper, we propose a new principled approach for learning a video \emph{face anonymizer}. We use an adversarial training setting in which two competing systems fight: (1) a video anonymizer that modifies the original video to remove privacy-sensitive information while still trying to maximize spatial action detection performance, and (2) a discriminator that tries to extract privacy-sensitive information from the anonymized videos. The end result is a video anonymizer that performs pixel-level modifications to anonymize each person's face, with minimal effect on action detection performance. We experimentally confirm the benefits of our approach compared to conventional hand-crafted anonymization methods including masking, blurring, and noise adding. Code, demo, and more results can be found on our project page https://jason718.github.io/project/privacy/main.html.

研究动机与目标

• 解决视频计算机视觉系统中日益严重的隐私侵犯问题，尤其是在可穿戴设备和智能摄像头中的应用。
• 开发一种系统化、基于学习的视频匿名化方法，以超越模糊化和掩码等启发式方法。
• 确保匿名化处理不会降低下游动作检测任务的性能。
• 设计一种系统，使面部身份被隐藏，同时保留对动作识别至关重要的时空线索。
• 实现在硬件级别部署匿名化处理，以在数据被处理或传输前保护隐私。

提出的方法

• 采用多任务生成对抗网络框架，其中生成器作为视频匿名化器，判别器作为面部身份分类器。
• 通过梯度上升训练匿名化器，以最大化判别器在修改帧上的分类错误率。
• 将动作检测模型作为正则化项，以确保匿名化过程保留运动和动作线索。
• 利用对抗性损失优化匿名化器，生成外观逼真且能隐藏身份的面部修改结果。
• 以端到端可微的方式将学习到的匿名化器应用于视频帧，保持空间和时间的一致性。
• 使用真实世界数据集（DALY 和 JHMDB）在真实条件下进行系统训练与评估。

实验结果

研究问题

• RQ1 端到端学习的匿名化器是否能有效隐藏面部身份，同时保持较高的动作检测性能？
• RQ2 与传统的手工设计匿名化技术相比，面部匿名化器与面部分类器之间的对抗性训练效果如何？
• RQ3 经过匿名化处理的面部在多大程度上能欺骗人类和机器分类器对个体的识别能力？
• RQ4 匿名化过程是否会引入伪影，或降低动作识别所需运动线索的质量？
• RQ5 匿名化器的行为在不同身份和视频序列之间是否一致，还是以随机方式修改面部？

主要发现

• 所提方法在修改后的 LFW 人脸上的面部验证准确率达到 66.95%，显著低于原始人脸的 94.75%，表明匿名化效果显著。
• 在人类实验中，受试者仅以 53.3% 的准确率判断两幅修改后的面部是否属于同一人，接近随机猜测（50%），证明了在人类层面也实现了有效混淆。
• 在名人识别测试中，受试者仅能正确识别出 16 位名人中 19.75% 的面部，证实了识别可能性显著降低。
• 用户研究中，除两人外其余所有受试者都认为该技术能有效保护其隐私，表明其具有强烈的隐私保护感知。
• 模型在同一个人的各帧之间系统性地修改身份，表明是稳定的身份转换而非随机噪声。
• 对生成器进行随机标签优化导致严重伪影和模糊，而梯度上升方法则生成了更逼真且能有效隐藏身份的修改结果。