[论文解读] Deepfakes for Medical Video De-Identification: Privacy Protection and Diagnostic Information Preservation

Bingquan Zhu, Hao Fang+2 more|arXiv (Cornell University)|Feb 7, 2020

Face recognition and analysis参考文献 24被引用 4

一句话总结

本文提出使用人脸替换深度伪造技术对医疗视频进行去标识化，以在保护患者隐私的同时保留诊断信息。通过将患者面部替换为匿名化的目标面部，该方法保持了几乎完全相同的躯干和面部关键点位置，显著优于传统的模糊化或遮罩方法，从而实现了伦理合规、高保真的数据共享，适用于运动障碍研究。

ABSTRACT

Data sharing for medical research has been difficult as open-sourcing clinical data may violate patient privacy. Traditional methods for face de-identification wipe out facial information entirely, making it impossible to analyze facial behavior. Recent advancements on whole-body keypoints detection also rely on facial input to estimate body keypoints. Both facial and body keypoints are critical in some medical diagnoses, and keypoints invariability after de-identification is of great importance. Here, we propose a solution using deepfake technology, the face swapping technique. While this swapping method has been criticized for invading privacy and portraiture right, it could conversely protect privacy in medical video: patients' faces could be swapped to a proper target face and become unrecognizable. However, it remained an open question that to what extent the swapping de-identification method could affect the automatic detection of body keypoints. In this study, we apply deepfake technology to Parkinson's disease examination videos to de-identify subjects, and quantitatively show that: face-swapping as a de-identification approach is reliable, and it keeps the keypoints almost invariant, significantly better than traditional methods. This study proposes a pipeline for video de-identification and keypoint preservation, clearing up some ethical restrictions for medical data sharing. This work could make open-source high quality medical video datasets more feasible and promote future medical research that benefits our society.

研究动机与目标

• 解决在包含可识别患者面部的医疗视频共享中面临的伦理与隐私障碍。
• 在去标识化过程中保留关键的诊断信息，例如躯干和面部关键点。
• 评估基于深度伪造的人脸替换是否在关键点不变性方面优于传统去标识化方法。
• 确保去标识化后的视频不可逆，以防止原始受试者的重新识别。
• 建立可行的流程，用于开源高质量的医疗视频数据集，同时保护患者身份。

提出的方法

• 应用深度神经网络进行人脸替换，将帕金森病检查视频中的原始患者面部替换为匿名化、开源的面部。
• 该方法使用预训练的深度伪造模型（例如，Faceswap）来转移面部特征，同时保留表情、肤色和头部姿态。
• 采用 OpenPose（一种具有多尺度感受野的自下而上姿态估计模型）进行关键点检测，以评估不同方法下的稳定性。
• 定量比较原始视频、模糊化/遮罩化视频以及人脸替换视频在关键点检测性能上的差异。
• 通过分析在无模型权重或原始数据访问权限的情况下，是否能从公开的去标识化视频中重建原始人脸，来评估不可逆性。
• 在不同光照、姿势和面部表情等多样的拍摄条件下测试该流程。

实验结果

研究问题

• RQ1 与传统去标识化方法相比，人脸替换深度伪造技术在多大程度上保留了躯干和面部关键点的位置？
• RQ2 基于深度伪造的去标识化是否能够在确保患者隐私的同时维持诊断信息的完整性？
• RQ3 经过人脸替换的视频数据是否不可逆，从而防止原始身份的重建？
• RQ4 该方法在不同受试者及不同视频拍摄条件下，关键点保留的鲁棒性如何？
• RQ5 该方法是否能够实现伦理合规的高价值医疗视频数据集的开放共享，同时不损害数据效用？

主要发现

• 人脸替换去标识化方法在面部和躯干关键点检测上与原始视频保持近乎相同的准确性，显著优于模糊化和遮罩化方法。
• 传统方法如模糊化或遮罩化导致面部关键点检测近乎完全失败，原因在于面部数据的完全丢失。
• 躯干关键点检测在所有方法中均保持稳定，但人脸替换方法在面部关键点上表现出最高的不变性。
• 深度伪造模型的权重未公开，使得从替换后的视频中计算上不可行地重建原始人脸。
• 该方法在不同面部表情、光照和姿势条件下均表现出鲁棒性，在真实医疗视频环境中保持了关键点的一致性。
• 该方法实现了高质量医疗视频的伦理化数据共享，同时不损害诊断信息或患者隐私。