[论文解读] Practical Digital Disguises: Leveraging Face Swaps to Protect Patient Privacy

Ethan Wilson, Frederick Shic+2 more|arXiv (Cornell University)|Apr 7, 2022

Face recognition and analysis被引用 5

一句话总结

本文提出了一种端到端的人脸替换流程，用于保护自闭症谱系障碍儿童临床视频记录中的患者隐私，利用深度伪造技术保留诊断相关的人脸线索（如注视方向和表情）。结果表明，与模糊化相比，该方法在保持更高实用性的同时仍能有效降低人脸识别准确率——其注视准确率保持在68.98%，表情分类准确率达到40.78%。

ABSTRACT

With rapid advancements in image generation technology, face swapping for privacy protection has emerged as an active area of research. The ultimate benefit is improved access to video datasets, e.g. in healthcare settings. Recent literature has proposed deep network-based architectures to perform facial swaps and reported the associated reduction in facial recognition accuracy. However, there is not much reporting on how well these methods preserve the types of semantic information needed for the privatized videos to remain useful for their intended application. Our main contribution is a novel end-to-end face swapping pipeline for recorded videos of standardized assessments of autism symptoms in children. Through this design, we are the first to provide a methodology for assessing the privacy-utility trade-offs for the face swapping approach to patient privacy protection. Our methodology can show, for example, that current deep network based face swapping is bottle-necked by face detection in real world videos, and the extent to which gaze and expression information is preserved by face swaps relative to baseline privatization methods such as blurring.

研究动机与目标

• 为解决真实临床视频去标识化中隐私-实用性权衡缺乏系统性评估的问题。
• 探究人脸替换是否比传统模糊化方法更好地保留与临床相关的人脸信息（如注视方向和表情）。
• 开发一种用户参与式的人脸标注系统，以提高在低质量、动态临床视频中的面部检测准确性。
• 在真实医疗环境中，评估人脸替换在多种人脸识别模型和实用性指标下的性能表现。
• 为自闭症研究和远程医疗应用中的视频去标识化提供可复现的隐私-实用性权衡评估方法。

提出的方法

• 利用参考人脸数据集训练的深度伪造模型，开发端到端的人脸替换流程，将记录的自闭症筛查会话中的患者人脸进行替换。
• 集成用户参与式人脸标注系统，在自动人脸检测失败时生成准确的边界框，提升在低分辨率、动态视频帧中的鲁棒性。
• 使用Dlib人脸关键点检测器比较原始人脸与替换后人脸的关键点位置，量化几何保真度。
• 采用GazeTracking网络估计三维注视方向（左/中/右和上/中/下），根据检测到的注视方向对帧进行分类以评估准确率。
• 应用FER（面部表情识别）模型将表情分类为七种类别，并比较原始视频与人脸替换后视频的表情分布。
• 使用三种高性能人脸识别模型评估隐私保护效果，测量识别准确率相对于参考人脸集合大小的降低程度。

实验结果

研究问题

• RQ1 与模糊化或原始记录相比，人脸替换在低分辨率、真实临床视频中能多大程度保留注视方向？
• RQ2 人脸替换后的人脸在保留与自闭症诊断相关的情绪特征（如悲伤、快乐或惊讶）方面，其表情分类的准确性如何？
• RQ3 人脸检测失败对临床视频数据中人脸替换流程整体性能有何影响？
• RQ4 不同人脸替换模型及参考人脸集合大小下，隐私-实用性权衡如何变化？
• RQ5 与传统模糊化等混淆技术相比，人脸替换是否能更好地保留临床有意义的线索（如眼神接触和情绪表达）？

主要发现

• 人脸替换在54.23%的帧中保留了注视方向，注视分类准确率达到68.98%；而弱模糊化导致0%的注视检测率，完全丧失可用的注视信息。
• 人脸替换后的人脸表情分类准确率为40.78%，显著高于弱模糊化人脸的27.27%，表明情绪线索保留更佳。
• 关键点距离分析显示，人脸替换更准确地保留了眼睛和鼻子的关键点，而口部关键点保留较差；整体关键点保真度更接近原始人脸而非模糊化人脸。
• 在原始人脸上的注视检测率为38.26%，在人脸替换后的视频中提升至54.23%，表明人脸替换可稳定低对比度或遮挡帧中的注视估计。
• 人脸检测在真实视频中仍是主要瓶颈，尤其在低分辨率或远距离拍摄的场景中，凸显了其在真实环境中的关键局限性，尽管在受控环境中表现良好。
• 人脸替换后视频中的表情分布与原始分布高度一致（如悲伤、快乐、中性、恐惧、愤怒、惊讶、厌恶），表明情绪内容的失真极小。