[论文解读] Analyzing Fairness in Deepfake Detection With Massively Annotated Databases

Ying Xu, Philipp Terhörst+2 more|arXiv (Cornell University)|Aug 11, 2022

Machine Learning and Data Classification被引用 7

一句话总结

本文通过构建一个大规模标注数据集，对深度伪造检测中的公平性与偏见进行了分析，该数据集涵盖五个主要深度伪造数据集的47项属性，标注数量超过6500万条。研究发现，当前最先进的检测模型在人口统计学和非人口统计学属性上表现出显著偏见，严重损害了其在真实场景部署中的公平性与泛化能力。

ABSTRACT

In recent years, image and video manipulations with Deepfake have become a severe concern for security and society. Many detection models and datasets have been proposed to detect Deepfake data reliably. However, there is an increased concern that these models and training databases might be biased and, thus, cause Deepfake detectors to fail. In this work, we investigate factors causing biased detection in public Deepfake datasets by (a) creating large-scale demographic and non-demographic attribute annotations with 47 different attributes for five popular Deepfake datasets and (b) comprehensively analysing attributes resulting in AI-bias of three state-of-the-art Deepfake detection backbone models on these datasets. The analysis shows how various attributes influence a large variety of distinctive attributes (from over 65M labels) on the detection performance which includes demographic (age, gender, ethnicity) and non-demographic (hair, skin, accessories, etc.) attributes. The results examined datasets show limited diversity and, more importantly, show that the utilised Deepfake detection backbone models are strongly affected by investigated attributes making them not fair across attributes. The Deepfake detection backbone methods trained on such imbalanced/biased datasets result in incorrect detection results leading to generalisability, fairness, and security issues. Our findings and annotated datasets will guide future research to evaluate and mitigate bias in Deepfake detection techniques. The annotated datasets and the corresponding code are publicly available.

研究动机与目标

• 调查由训练数据集不平衡引起的深度伪造检测模型中的公平性与偏见问题。
• 解决现有深度伪造数据集中缺乏全面属性标注的问题，特别是非人口统计学属性的标注。
• 评估当前最先进的深度伪造检测主干模型在多样化人口统计学与非人口统计学属性上的性能表现。
• 提供一个公开可获取的大规模、多样化属性标注数据库，以支持未来在深度伪造检测中对偏见的评估与缓解。
• 揭示偏向性检测系统可能带来的社会与安全风险，即某些群体被不公正地标记为伪造内容。

提出的方法

• 使用MAAD-Face原则对五个主要深度伪造数据集（Celeb-DF、DFD、FF++、DF-1.0、DFDC）进行47项不同属性的标注，确保高置信度标注。
• 收集了超过6530万条属性标注，涵盖年龄、性别、种族、发色/发型、皮肤、面部几何特征、配饰及面部表情等。
• 在标注数据集上训练并评估了三种当前最先进的深度伪造检测主干模型（如EfficientNet、Vision Transformers）。
• 通过相对性能（rel. perf.）指标测量各属性的检测性能，以识别偏见趋势。
• 利用MAAD分类器的可靠性分数，在标注过程中进行过滤，确保高质量标注。
• 比较不同属性类别（如胡须、山羊胡、大鼻子）及其子类别（如金色短发、微笑）的检测准确率，以量化偏见程度。

实验结果

研究问题

• RQ1 深度伪造检测模型在特定人口统计学与非人口统计学属性上的偏见程度如何？
• RQ2 公开深度伪造数据集中的不平衡问题如何影响检测模型的公平性与泛化能力？
• RQ3 哪些具体属性（如发色、面部几何特征、配饰）在检测中表现出最显著的性能下降？
• RQ4 相对性能指标在不同属性子类别中的变化如何，反映出潜在的公平性问题？
• RQ5 大规模、多样化的属性标注是否有助于识别并缓解深度伪造检测系统中的偏见？

主要发现

• 所研究的深度伪造数据集在人口统计学与属性多样性方面均显不足，某些群体存在显著代表性不足。
• 深度伪造检测模型对某些属性表现出强烈偏见，例如发色（如某模型中金色短发的相对性能提升100%）、面部几何特征（如椭圆脸的相对性能提升45.74%）以及配饰（如涂口红的相对性能下降239.21%）。
• 某些属性导致模型性能出现极端下降：例如某模型中双下巴的相对性能下降448.88%，表明存在严重误分类。
• 在有偏见数据上训练的模型，对大鼻子的相对性能比对尖鼻子高出47.03%，表明对特定面部特征存在强烈偏见。
• 对于浓妆与吸引力等属性，由于误差率不足，无法获得可靠性能数据，表明这些子群体可能存在数据稀疏性或模型失效问题。
• 本研究揭示，基于不平衡数据集训练的检测模型会产生系统性不公平结果，导致某些群体被不公正地标记为伪造内容，引发严重的公平性与安全担忧。