[论文解读] GBDF: Gender Balanced DeepFake Dataset Towards Fair DeepFake Detection

Aakash Varma Nadimpalli, Ajita Rattani|arXiv (Cornell University)|Jul 21, 2022

Face recognition and analysis被引用 10

一句话总结

本文提出了GBDF，一个经过人工标注性别标签的性别平衡深度伪造数据集，用于评估深度伪造检测中的公平性。研究发现，现有数据集在男性上存在显著偏差，且最先进检测器在女性样本上的表现更差，但通过在GBDF上进行训练，可将等错误率（EER）中的性能差异降低高达60%。

ABSTRACT

Facial forgery by deepfakes has raised severe societal concerns. Several solutions have been proposed by the vision community to effectively combat the misinformation on the internet via automated deepfake detection systems. Recent studies have demonstrated that facial analysis-based deep learning models can discriminate based on protected attributes. For the commercial adoption and massive roll-out of the deepfake detection technology, it is vital to evaluate and understand the fairness (the absence of any prejudice or favoritism) of deepfake detectors across demographic variations such as gender and race. As the performance differential of deepfake detectors between demographic subgroups would impact millions of people of the deprived sub-group. This paper aims to evaluate the fairness of the deepfake detectors across males and females. However, existing deepfake datasets are not annotated with demographic labels to facilitate fairness analysis. To this aim, we manually annotated existing popular deepfake datasets with gender labels and evaluated the performance differential of current deepfake detectors across gender. Our analysis on the gender-labeled version of the datasets suggests (a) current deepfake datasets have skewed distribution across gender, and (b) commonly adopted deepfake detectors obtain unequal performance across gender with mostly males outperforming females. Finally, we contributed a gender-balanced and annotated deepfake dataset, GBDF, to mitigate the performance differential and to promote research and development towards fairness-aware deep fake detectors. The GBDF dataset is publicly available at: https://github.com/aakash4305/GBDF

研究动机与目标

• 调查深度伪造检测器在不同性别间的公平性差异，特别是对女性的性能不足问题。
• 解决现有深度伪造数据集中缺乏人口统计学标注的问题，该问题阻碍了公平性分析。
• 创建一个公开可用的性别平衡数据集（GBDF），以支持公平意识的深度伪造检测研究。
• 使用真实世界中的深度伪造生成技术，评估数据集偏差对检测器性能的影响。
• 通过可视化和指标展示，检测器在不同性别上依赖不同的面部区域，从而导致性能差异。

提出的方法

• 在两个流行的深度伪造数据集（FaceForensics++ 和 Celeb-DF）上，由人工标注员对样本进行性别标签分类，明确标注为男性或女性。
• 通过在训练集中平衡性别分布，构建GBDF数据集，确保男性和女性的代表性相等。
• 在原始数据集和GBDF数据集上，对多种最先进深度伪造检测器（如 MesoInception-4、LipForensics、EfficientNet V2-L）进行训练与评估。
• 应用梯度加权类激活映射（Grad-CAM）技术，可视化并比较检测器在不同性别下对真实与伪造样本所关注的面部区域。
• 使用等错误率（EER）作为性能度量，量化男性与女性子群体之间的公平性差异。
• 通过消融实验，比较检测器在非平衡（原始）与平衡（GBDF）数据集上的表现，以隔离数据不平衡的影响。

实验结果

研究问题

• RQ1 在现有深度伪造数据集中，检测器在男性与女性之间的性能是否存在显著差异？
• RQ2 当前深度伪造数据集中存在的性别不平衡，在多大程度上导致了检测模型的性能差异？
• RQ3 在像GBDF这样的性别平衡数据集上进行训练，能否减少深度伪造检测中男性与女性之间的性能差距？
• RQ4 深度伪造检测器在不同性别上的分类是否依赖于不同的面部区域？这种依赖关系如何影响公平性？
• RQ5 深度伪造生成技术的选择（例如，不规则替换）在多大程度上影响基于性别的性能差异？

主要发现

• 如 FaceForensics++ 和 Celeb-DF 等现有深度伪造数据集存在显著的性别不平衡，女性在真实与伪造样本中均被显著低估。
• 最先进深度伪造检测器（尤其是 MesoInception-4）在非平衡数据集上对男性与女性的等错误率（EER）差异最高达 0.034。
• GBDF 数据集在性别分布上实现平衡，当在 GBDF 测试集上测试时，将男性与女性之间的 EER 差异从 0.031 降低至 0.012。
• Grad-CAM 可视化结果表明，检测器对不同性别的检测依赖于不同的面部区域——对女性依赖脸颊区域，对男性依赖眼周区域，表明存在性别特异性特征依赖。
• 像 LipForensics 这类聚焦于嘴部运动并使用裁剪区域的模型，在不同性别间表现出最小的性能差异，表明模态选择可缓解偏见。
• 即使在 FaceForensics++ 中女性样本数量多于男性样本时，性能差距依然存在，表明不平衡并非唯一因素；模型偏见与数据质量也起着重要作用。